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近年 来 ,一 些 新 的 研究 领域 如 神经 网 络 . 模 糊 系 统 和 进化 计算 等 ,由 于 它们 都 
是 模拟 人 类 的 智能 行为 或 进化 过 程 而 发 展 起 来 的 ,并 且 具 有 高 度 并 行 化 与 智能 化 
等 特征 ,因而 引起 了 人 们 的 极 大 兴趣 。 这 些 新 方法 通过 “ 拟 物 ”与 “仿生 ”为 解决 某 
些 复杂 问题 提供 了 新 前 方法 和 途径 ,因而 能 够 得 以 迅速 发 展 并 上 成 为 人 们 前 研究 热 
点 之 一 。 

1992 年 ,美国 学 考 james C. Bezdek 在 论文 《计算 智能 》 中 讨论 了 神经 网 络 . 模 
式 识别 与 和 能 之 间 的 关系 ,并 特 能 分 为 生物 搬 能 、 人 工 智 能 和 计算 智能 三 个 层 
次 。Bob Marks 于 1993 年 提出 的 理论 将 神经 网 络 、. 踪 传 算 法 、 模 类 系 统 、. 进 化 规划 
和 和 人工 生命 统称 为 计算 智能 。Lotfi Zadeh 则 认为 传 统 的 硬件 诗 算是 强调 人 工 短 
能 的 计算 横 式 ,而 计算 智能 的 基础 是 软件 计算 , 即 模糊 还 辑 、 神 经 网 络 和 进化 计算 。 
杷 认为 CI 和 AI 的 本 质 区 别 在 于 使 用 的 推理 类 型 不 同 ,AI 使 用 的 是 易 胸 逻辑 ,而 
Ci 使 用 的 是 模糊 远 辑 和 规则 。PDavid Fogel 在 1995 年 发 表 的 评论 中 指出 智能 就 
是 对 环境 的 和 运 应 能 力 。 乌 他 认为 计算 智能 高 了 于 人 工 知 能 ,计算 智能 包含 人 工 知 能 。 

本 书 认为 计算 智能 所 涉及 的 研究 领域 主要 包括 以 下 三 方面 : 

(1 人 工 神 经 网 络 (Artificial Neural Network ,简称 ANN), 是 根据 人 天 的 生 
理 嬉 构 和 信息 处 理 过 程 , 来 创造 人 工 神 既 网 络 ,从 而 模仿 人 的 智能 。 

(2) 模 糊 系 统 (Fuzzy System ,简称 FS) ,试图 描述 和 处 理 人 的 语言 和 思维 中 存 
在 的 模 大 性 概念 ,其 目的 也 是 模仿 人 的 智能 。 

《3) 进 化 计算 (Evolution Computing, 简称 EEC) ,是 一 种 模仿 生物 进化 过 程 的 
优化 方法 ,也 属于 模仿 人 的 智能 的 范畴 。 

可 见 ， 模 仿 人 的 智能 是 它们 共同 的 奋 寺 目标 和 合作 的 基础 。 将 三 者 统称 为 计 
算 智 能 ,因为 三 考 实际 上 都 是 计算 方法 。 

本 书 是 作者 在 近 八 年 来 为 研究 生 讲 拥 神 经 网 络 , 模 寡 系统 和 进化 计算 课程 的 
讲稿 基础 上 ,结合 作者 、 同 事 及 研究 生 们 共同 的 科学 研究 成 果 , 并 从 国内 外 文献 资 
料 中 提取 最 主要 的 理论 及 应 用 成 果 , 加 以 系统 组 织 , 着 重 讲 清 基 本 概念 、 原 理 、 模 型 
和 工法 ,同时 介绍 了 一 些 应 用 实例 以 便 读 者 能 够 芍 练 掌 弃 应 用 方法 。 

全 书 分 为 四 篇 干 五 章 。 序 篇 的 第 一 章 介 绍 了 计算 智能 的 概念 和 其 所 涉足 的 研 
究 领 域 及 其 相互 之 间 的 关系 。 第 一 篇 人 工 神经 网 络 中 前 二 、 三 、 四 和 五 章 分 别 讲述 
了 人 工 神 经 网 络 的 基本 模型 前 镇 型 神经 网 络 、 反 馈 型 神经 网 络 和 自 组 织 竞争 神经 
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网 络 模型 结构、 算法 及 其 应 用 实例 。 第 二 篇 的 模糊 系统 中 的 六 、 七 和 和 八 音 分 别 讲 
述 了 模糊 数学 基础 、 模 糊 榨 制 理论 和 补 糊 神 经 网 络 与 神经 模糊 系统 部 分 。 第 三 篇 
进化 计算 中 的 万, 十 ,十 一 \ 十 二 、 十 三 ,十 四 和 十 五 章 分 别 讲述 了 遗传 算法 .遗传 算 
法 的 数学 基础 .遗传 算法 的 实现 技术 、. 赴 情 算 法 的 若干 改进 研究 遗传 算法 的 收 笋 
性 、 用 遗 传 算法 解决 组 合 优 化 问题 和 其 他 进化 算法 。 

在 完成 本 书 的 过 程 中 ,黄岗 博士 李 国 暴 博 士 对 书 中 内 容 的 选材 .组织 及 编写 
提出 了 许多 有 益 的 意见 并 作 了 大 量 工作 , 吉 宁 大 学 出 版 社 的 责 尾 编辑 吕 健 波 、 得 亚 
歼 、 唐 万 新 老师 为 本 书 出 版 做 了 大 量 工 作 , 在 此 向 他 匀 表 示 庄 心 的 感谢 ! 

限于 作者 水 平 , 且 成 书 仓促 , 书 中 错误 和 认 受 之 处 在 所 难免 , 乱 请 读者 批评 指 
正 。 
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序 篇 


计算 智能 





第 一 台电 子 计算 机 的 问世 ,迄今 已 有 半 个 世纪 的 历史 , 在 这 期 间 不 仅 计算 机 本 身 斤 经 更 新 
换代 ,其 性 能 日 益 优 越 ,而 且 计 算 技 术 也 广泛 应 用 于 社会 生活 的 各 个 领域 . 可 以 说 计算 机 的 
诞生 和 发 展 是 20 世纪 科学 技术 最 伟大 的 成 就 之 一 . 它 对 推动 科学 、 技 术 和 社会 的 发 展 起 到 了 
难以 估量 的 作者. 

电子 计算 机 是 按 冯 。 诺 依 受 (Von Neumann) 的 体系 结构 来 实现 算术 和 膛 辑 运算 的 . 现 
在 的 运算 速度 已 可 达 每 秒 几 千 亿 次 ,其 结果 的 精确 和 可 车 程度 更 是 人 工 无 法 比拟 的 , 但 是 , 电 
子 计算 机 的 形象 思维 能 力 却 与 人 脑 相差 甚 远 . 在 人 的 知觉 .记忆 ,语言 .思想 与 获取 的 心理 过 程 
中 ,尤其 是 在 实时 处 理 中 ,人 脑 这 一 慢 速 和 充满 史 声 干 拢 的 硬件 是 在 进行 着 极其 复杂 的 宏 并 行 
处 理 . 人 们 对 于 十 分 复杂 的 事物 可 以 不 假 思索 ,一 目 了 然 地 子 以 识别 ,但 是 , 即 司 很 税 单 的 物体 
让 先进 的 电子 计算 机 来 识别 却 相当 困难 . 棋 此 ,要 使 计算 机 能 在 交 扎 式 的 自然 过 程 中 ,提取 简 
单 信号 ,表达 知识 及 其 结构 ,并 使 其 与 有 关 知 识 结 合 起 来 产生 智能 ,具有 较 强 的 形象 思维 能 力 ， 
必须 突破 冯 。" 庶 依 曼 机 的 体系 结构 , 另 辟 新 径 . 

制造 具有 智能 的 计算 机 一 直 是 人 类 的 梦想 . 直到 1956 年 人 工 智能 技术 的 出 现 , 人 们 为 此 
已 做 出 了 巨大 的 努力 . 近年 来 , 随 着 人 工 智能 应 用 领域 的 不 断 拓 广 * 和 传统 的 基 子 符号 处 理 灿 制 
的 人 工 智 能 方法 在 知识 表示 .处理 模式 信息 及 解决 组 合 爆炸 等 方面 所 碰 到 的 问题 已 变 得 越 来 
越 突 出 ,这 些 困难 甚至 使 得 某 些 学 者 对 人 工 智 能 提出 了 强烈 的 批判 ,对 人 工 智能 的 可 能 性 提 测 
了 质疑 ， 

基于 上 述 原 因 , 寻 求 一 种 适 于 大 规模 并 行 且 具 有 某 些 智能 特征 如 自 组 织 、 自 适应 .自学 对 
等 的 算法 已 成 为 有 关 学 科 的 一 个 研究 目标 . 近年 来 ,出 现 了 一 些 新 的 研究 方向 如 神经 网 阁 、 模 
糊 控 制 和 进化 计算 等 ,由 于 它们 者 是 模拟 某 一 自然 现象 或 过 程 而 发 展 起 来 的 ,并 且 具 有 高 度 并 
行 化 与 智能 化 等 特征 ,因而 引起 了 人 缴 的 极 大 兴趣 . 这 些 新 方法 通过 “ 拟 物 "与 “仿生 ”以 使 问题 
得 到 解决 ,它们 也 许 能 为 解决 某 些 复杂 问题 提供 新 的 契机 . 至 此 ,计算 智能 应 运 而 生 - 


8$1.1 关于 计算 智能 



































1.11 什么 是 计算 智能 


” 计算 智能 CComputational Intelligence, 简 称 CI) 并 不 症 一 个 新 的 术语 ,时 在 1988 年 加 拿 
大 的 一 种 刊物 便 以 CI 为 名 . 1992 年 ,美国 学 者 James C，Bezdek 在 论文 4 计算 智能 ?中 讨论 了 
神经 网 络 ,模式 识别 与 智能 之 间 的 关系 ,并 将 智能 分 为 生物 智能 .人 工 智 能 和 计算 智能 三 个 层 
次 . 1993 年 , Bob Marks 写 了 一 篇 关于 计算 智能 和 人 工 智 能 区 别 的 文章 ,并 在 文中 给 出 了 对 CI 
的 理解 . 1994 年 的 国际 计算 智能 会 议 (WCCB 的 命名 就 部 分 地 涉 于 Beb 的 文章 ,这 次 IEEE 会 
议 将 国际 神经 网 络 学 会 (NNC) 发 起 的 神经 网 络 (ICNN) 、 模 糊 系 统 (FUZZ]? 和 进化 计算 
《ICEC) 三 个 年 度 性 会 议 合 为 一 体 , 并 出 版 了 名 为 《计算 智能 》 的 论文 集 . 此 后 ,CI 这 个 术语 就 
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开始 被 频 寺 地 使 用 ,同时 也 出 现 了 许多 关于 CI 的 解释 . 

1992 年 , James C. Bezdek 提出 ，CI 是 依 厘 生产 者 提供 的 数字 数据 材料 进行 加 工 处 理 ， 
而 不 是 依赖 于 知识 ;而 AI 则 必须 用 知识 进行 处 理 . 1994 年 ,james 在 Florida，Orlando，94 
IEEE 罗 CCI 会议 上 再 次 阐述 他 的 观点 , 即 智能 有 三 个 层次 :四 生物 智能 (Biological Intelli- 
gence， 简称 BI) ,是 由 人 脑 的 物理 化 学 过 程 反映 出 来 的 ,人 脑 是 有 机 物 , 它 是 智能 的 基础 .四 人 
工 智能 (Artificial Intelligence， 简 称 AD ,是 非 生 物 的 ,人 造 的 ,常用 符号 来 表示 ,AI 的 来 源 是 
人 类 知识 的 精华 . 四 计算 智能 CComputational Intelligence， 简 称 CD ,是 笛 数学 方法 和 计算 机 
实现 的 ,CI 的 来 源 是 数值 计算 的 传感器 . 这 三 个 层次 从 复杂 程度 由 高 至 低 的 顺序 为 ,BHI、AI、 
CCI 与 AI 的 差距 要 比 AI 与 BI 的 差距 小 得 多 ;而 从 所 属 关系 来 看 :CI 是 AI 的 一 个 子 集 , 而 
AI 虽 不 是 BI 的 子 集 ,Bl1 通常 用 来 指导 AI 模型 ,同样 也 指导 了 CL AI 是 CI 到 BI 的 过 渡 , 因 
为 AI 中 除 计算 方法 之 外 ,还 包括 符号 表示 及 数值 信息 处 理 - James 还 阐述 了 模糊 系统 (Fuzzy 
System, 简 称 FS 特别 适合 从 CI 到 AI 的 平滑 过 滤 - 

Bob Marks 于 1993 年 提出 的 理论 是 神经 网 络 、 遗 传 算法 .模糊 系统 、 进 化 规划 和 人 工 生 
命 ,统称 为 计算 智能 . 他 的 这 一 定义 得 到 许多 学 者 的 认同 ,包括 IEEE 的 领导 拉 ,其 中 NNC 的 
主席 Walter Karplus 在 1996 年 的 ADCOM 会 议 上 重 述 了 这 种 观点 ,认为 CI 着 重 研 究 的 是 系 
统 的 工作 方式 ,而 不 是 高 强度 计算 . 

Letfi Zadeh 则 认为 传统 的 硬件 计算 是 强调 人 工 智能 的 计算 模式 ,而 计算 智能 的 基础 是 坎 
件 计 算 , 即 模糊 逐 辑 .神经 网 络 和 进化 计算 , 他 认为 SI 和 AI 的 本 质 区 别 在 于 使 用 的 推理 类 理 
不 局 ,Al 使 用 的 是 易 脆 逐 辑 ,而 CI 使 用 的 是 模 罗 逻 辑 和 规则 、 

David Fogel 在 1995 年 发 表 的 评论 中 撒 出 智能 就 是 对 环境 的 适应 能 力 - 但 他 认为 CI 高 于 
AI ,CI 包含 AL. 

下 berhart,Dobbins 和 Simpson 关于 CI 的 理解 是 ,将 智能 系统 置 于 一 个 环境 中 ,智能 行为 
的 标准 是 改变 或 作用 于 环境 的 能 力 . 而 CI 只 是 智能 系统 的 一 个 内 部 节点 ,适应 性 只 是 CI 的 衡 
重 指 栋 . CI 是 一 种 方法 论 , 是 通过 计算 实现 适应 和 处 理 新 形势 的 能 力 , 具 有 推理 的 属性 ,能 得 
到 预测 或 决定 的 结果 . 

另外 ,也 有 些 人 认为 CE 和 AI 仅 有 部 分 重合 . 他 们 认为 ,AI 是 符号 主义 ,基于 知识 、 规 则 利 
推理 ,相当 于 人 的 左 议 ;而 CE 属于 连接 主义 ,基于 数据 .学习 和 记忆 ,相当 于 人 的 右 脑 . 


1.1.2 计算 智能 所 包含 的 领域 


计算 智能 廊 涉 及 的 研究 额 域 主要 包括 以 下 三 方面 ， 

《1) 人 工 神经 网 络 (Artificial Neural Network， 简 称 ANN), 是 根据 人 脑 的 生理 结构 和 信 
息 处 理 过 程 , 来 创造 人 工 神经 网 络 , 从 而 模仿 人 的 智能 . 

《2) 模 糊 系 统 (Fuzzy System， 简称 FS) ,试图 描述 和 处 理 人 的 语言 和 思维 中 存在 的 模 粗 性 
概念 ,其 目的 也 是 模仿 人 的 智能 . 

《3) 进 化 计算 (Evolution Computing， 简 称 EC) ,是 一 种 模仿 生物 进化 过 程 的 优化 方法 ,也 
属于 模仿 人 的 智能 的 范畴 ， 

可 见 ,模仿 人 的 智能 是 它们 共 局 的 奋斗 目标 和 合作 的 基础 . 将 三 者 统称 为 计算 智能 ,因为 
三 者 实际 上 都 是 计算 方法 . 














$1.2 人 工 神 经 网 络 


t.2.1 什么 是 神经 网 络 


大 工 杆 经 网 络 是 指 模拟 人 脑 神经 系统 的 结构 和 功能 ,和 运用 大 量 的 处 理 部 件 , 电 人 工 方式 构 

神经 网 络 理论 突破 了 传统 的 . 冲 行 处 理 的 数字 电子 计算 机 的 局 限 ,是 一 个 非 线性 动力 学 系 
统 , 并 以 分 布 式 存 钳 和 并 行 协 问 处 理 为 特色 ,虽然 单个 神经 元 的 结构 和 功能 极其 简单 有 限 ,但 
是 大 基 的 神经 元 构成 的 网 络 系统 所 实现 的 行为 却 是 极其 丰富 多 彩 的 . 


L.2.2 人 工 神 经 网 络 研究 的 历史 


神经 网 络 的 研究 已 有 50 多 年 的 历史 ,但 其 发 展 是 不 平衡 的 , 它 的 兴 大 还 与 < 人工 智 能 走 什 
么 路 ?这 一 争议 问题 有 关 . 由 于 其 结构 的 复杂 性 ,起 始 阶段 进展 不 快 ,并 一 度 陷 人 低谷 ,但 仍 有 
不 少 有 识 之 士 在 极其 艰难 的 条 件 下 坚持 研究 ,使 研究 工作 娩 终 没有 中 断 , 并 在 模型 建立 等 理论 
方面 取得 了 突破 性 的 成 果 , 时 至 今天 人 工 神经 网 络 成 了 信息 领域 的 热门 研究 课题 . 

1 第 一 阶段 一 一 初始 发 展期 〈20 世纪 40 年 代 一 20 世纪 60 年 代 ) ， 

早 在 1943 年 ,美国 心理 学 家 MeCulloch 和 数学 家 Pitts 联合 提出 了 形式 神 竖 元 攀 尖 学 模 
型 , 即 M-P 模型 ,从 此 开创 了 神经 科学 理论 研究 的 新 纪元 - MP 模型 能 够 完成 有 限 的 逻辑 运 
算 .1944 年 ,心理 学 家 Hebb 提出 了 改变 神经 元 间 连 接 强度 的 Hebb 规则 ,它们 至 今 仍 在 各 种 
神经 网 络 模 列 中 起 着 重要 的 作用 . 1957 年 ,计算 机 科学 家 Rosenblatt 用 硬件 完成 了 最 早 的 神 
经 阅 络 模 型 , 即 感知 器 (Perceptron) ,并 用 来 模拟 生物 的 感知 和 学 习 能 力 . 1962 年 ,电机 工程 师 
Windrow 和 Ho# 提出 的 自 适 应 线性 元 件 Adaline, 它 是 一 个 连续 取 值 的 线性 网 络 , 在 信号 处 
理 系统 中 用 于 抵消 通讯 中 的 回 波 和 只 声 ,应 用 十 分 广泛 . 

2. 第 二 阶段 一 一 低谷 期 〈20 世纪 50 年 代 末 一 20 世纪 70 年 代 末 》 

1969 年 ,人 工 智 能 之 父 Minsky 和 Papert 发 表 的 《感知 器 (Perdeptron)} 一 书 指出 ,总 知 器 
无 科学 价值 面 言 , 连 XOR 逻辑 分 类 都 做 不 到 ,只 能 作 线性 划分 - 由 于 Minsky 在 学 术 界 的 地 位 
和 影响 , 故 其 后 若干 年 内 ,这 一 研究 方向 处 于 低潮 . 另 一 方面 ,传统 的 冯 - 诺 依 到 电子 数字 计算 
机 正 处 在 发 展 的 全 盛 时 期 ,整个 学 术 界 都 期 醉 在 成 功 的 喜悦 之 中 ,从 面 掩盖 了 新 型 计算 机 的 发 
展 的 必然 . 

尽管 如 此 ,在 此 期 间 仍然 有 不 少 有 识 之 士 不 断 努 力 ,在 极端 艰难 的 条 件 下 元 力 于 这 一 研 
究 ,为 神经 网 络 研究 的 发 展 疯 定 了 理论 基础 - Boston 大 学 的 Grossberg 和 Carpenter 提出 了 自 
适应 共振 理论 ART 网 络 .芬兰 的 Heisinki 大 学 的 Kohonen 提出 了 自 组 织 映 射 网 络 . 日 本 的 大 
扳 大 学 的 Fukushima 提出 了 神经 认 知 机 网 络 模型 - 日 本 东京 大 学 的 Amari 对 神经 网 络 进 行 了 
数学 理论 的 研究 ， 

3. 第 三 阶段 一 一 兴盛 期 〈20 世纪 80 年 代 以 后 》 

上 世纪 79 年 代 末 期 ,研究 和 试图 模拟 视听 觉 的 人 工 智 能 专家 首先 允 到 挫折 ,人 们 习 以 为 
常 的 知识 难以 教 给 计算 机 . 计算 机 的 设计 者 和 制造 商 也 发 现 前 面 有 不 可 逾越 的 线路 微型 化 的 
先 理 极 殷 ,人 们 才 开 娩 思考 冯 " 诸 依 曼 机 到 底 还 能 走 多 远 , 同时 , VLSI、 脑 科学 .生物 学 .光学 
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的 迅速 发 展 也 为 人 工 神经 网 络 的 发 展 打 下 了 基础 , 

1982 年 ,加州 大 学 的 物理 学 家 Hopfied 担 出 了 Hopfield 网 络 模型 ,并 用 电路 实现 , 1985 
年 ,Rumelhart 提出 了 BP 算法 ,把 学 习 的 结果 反馈 到 神经 网 络 的 由 层 ,来 改变 权 系 矩阵 , 它 是 
迄今 为 止 最 普遍 的 网 络 . Hinton 等 人 提出 了 Boltzman 机 模型 , 1988 年 , 蔡 少 堂 提出 了 细胞 衬 
经 了 网络 模型 . 

近年 来 ,神经 网 络 理论 引起 了 美国 .欧洲 与 日 本 等 国 科学 家 和 企业 家 的 巨大 热情 . 新 的 研 
究 小 组 .实验 室 、 风 险 公 司 等 与 日 俱 增 , 世 界 各 周 也 正在 组 织 和 实施 与 此 有 关 的 重大 研究 项 目 . 
如 美国 DARPA 计划 .日 本 HFSP 计划 ,法 国 尤 里 卡 计划 、 德 国 欧 洲 卡 御 计 划 和 前 苏联 高 技术 
发 展 计划 等 , 1986 年 4 月 ,美国 物理 学 会 在 Snowbirds 召开 了 国际 神经 网 络 学 术 会 议 . 1987 年 
6 月 ,IEEE 在 San Diego 召开 了 岂 际 神经 网 络 学 术 会 议 ,并 成 立 了 几 际 神经 网 络 学 会 - 1988 年 
起 ,IEEE 和 国际 神经 网络 学 会 每 年 召开 一 次 国际 会 议 , 1990 年 3 月 ,JIEEE 神经 网 络 会 刊 问 
世 . 

神经 网 络 理论 的 应 用 也 已 经 渗透 到 各 个 领域 ,并 在 智能 控制 .模式 识 别 . 计 算 机 视觉 、 自 适 
应 滤波 .入 号 处 理 ,. 非 线性 优化 ,语音 识别 .知识 处 理 , 待 感 技术 与 机 器 人 等 方面 下 得 了 令 人 鼓 
舞 的 进展 神经 网 络 代表 一 种 新 的 主义 , 邯 连接 主义 ,用 于 解决 诸如 知识 表达 、 推 理学 习 、 联 想 
记忆 、 刀 至 复杂 的 社会 现象 ,如 混沌 ,社会 演变 等 复杂 系统 的 统一 模型 , 它 将 了 预 示 着 一 个 新 的 工 
业 的 到 素 、 























8$1.3 宰 糊 系统 


13.1I 烧 糊 系 统 理论 的 起 源 和 发 展 


模 灶 现 象 是 在 众多 现象 中 普遍 存在 的 ,如 "天气 很 热 , 味 道 很 怪 ”等 . 人 的 大 脑 能 在 信息 不 
完整 不 精确 的 情况 下 做 出 判断 与 决策 , 即 进行 模 糯 信 息 处 理 . 模糊 数学 是 用 数学 方法 研究 和 处 
理 客观 存在 的 模糊 现象 的 一 门 新 兴学 科 . 它 所 研究 的 事物 的 概念 本 身 是 模糊 的 , 即 对 一 个 对 象 
是 否 符 合 这 个 概念 难以 宵 定 , 这 种 由 于 概念 外 延 的 模糊 而 造成 的 不 确定 性 称 为 模 籽 性 - 

模糊 理 论 诞生 于 1965 年 , 美 赂 控制 论 专 家 、 加 利 福 尼 亚 大 学 教 提 扎 德 (Zadeh L A) 首 先 所 
出 模糊 祭 合 的 概念 ,发 表 了 开创 性 论文 + 模糊 集 合 论 (Fuzzy sets)》 他 所 出 ,模糊 数学 的 核心 思 
想 就 是 运用 数学 手段 ,仿效 仿 思维 ,对 复杂 事物 进行 模 灶 处 理 . 异 棚 数学 在 基础 理论 和 实际 
应 用 等 方面 引起 了 各 国学 者 的 极 大 兴趣 ,并 产生 了 许多 有 和 价 厢 的 应 用 和 惊人 的 成 果 . 1973 年 ， 
亏 德 教授 又 提出 模糊 贤 辑 (Fuzzy Logic) 的 理论 ,并 积极 个 导 将 模 灶 理论 向 人 工 智 能 方向 发 
展 . 模 糊 逻辑 的 研究 虽然 时 间 还 不 很 长 ,但 在 智能 模拟 和 智能 控制 等 领域 却 已 有 了 飞快 的 发 
展 - 1974 年 ,印度 前 英 国学 者 马 德 尼 (Mamdani E H) 首 先 将 模糊 理论 用 于 锅炉 和 燕 汽机 的 尽 
制 , 并 实验 成 功 , 开 创 了 模糊 控制 的 新 领域 , 20 世纪 80 年 代 后 期 以 来 ,在 日 本 采用 模 籽 竹 制 技 
术 的 家 电 产 品 大 量 上 市 ,模糊 技术 在 图 像 识 别 、 自 动 榨 制 ,市 场 预测 .人 工 智 能 等 领域 普遍 应 
用 , 扳 起 了 一 股 异 灶 热 . 日 本 ,美国 和 我 国都 成 功 地 研制 出 了 智能 化 的 模 烤 推 现 机 ,这 表明 了 模 
类 理论 的 强大 生命 力 和 伟大 意义 . 另 一 方 而 , 模 糊 理论 在 学 术 界 也 得 到 了 普遍 的 认同 和 重视 . 
1992 年 ,IEEE 召开 了 第 一 届 关 于 模 确 系统 的 国际 会 议 (FUZZ-IEEE) ,并 决定 以 后 每 年 举行 
一 次 . 1993 年 IEEE 创办 了 专刊 IEEE Transaction on Fuzzy System， 当前 ,模糊 理论 和 应 用 正 
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向 深度 和 广度 进一步 发 展 ,发 展 的 速度 越 来 越 快 ,研究 成 果 大 量 涌 现 ,已 经 成 为 世界 各 国 高 科 
技 竞争 的 重要 领域 之 一 . 


1.3.2 模糊 系统 的 研究 范畴 


模糊 系统 基于 模糊 数学 理论 ,能 对 复杂 事物 进行 模糊 处 理 . 模糊 数学 的 理论 基础 包括 模糊 
斩 辑 、 模 栏 规则 ,模糊 推理 .隶属 度 和 柑 糊 集合 等 . 另外 , 以 模糊 数学 为 基础 的 模糊 控制 器 和 模 
类 神经 网 络 的 理论 和 设计 ,将 在 第 二 入 中 详细 讲解. 


3$1.4 进化 计算 


进化 计算 (Evolution Computing) 是 采用 简单 的 编码 技术 来 表示 各 种 复杂 的 结构 ,并 通过 
简单 的 遗传 操作 和 优胜 劣 涩 的 自然 选择 来 指导 学 习 和 确定 搜索 的 方向 . 由 于 它 采用 种 群 ( 即 一 
组 表示 ) 的 方式 组 织 搜索 ,这 使 得 它 可 以 同时 搜索 解 空间 内 的 多 个 区 域 , 特 别 适 合 大 规模 并 行 
计算 . 进化 计算 具有 自 组 织 \ 自 适应 、 自 学习 的 特点 ,并 且 不 受 其 搜索 空间 限制 性 条 件 ( 如 可 微 、 
单 峰 等 ) 的 约束 ,不 需要 其 他 辅助 信息 (如 导数 ). 这 使 得 进化 计算 不 仅 能 获得 较 高 的 效率 ,而 且 
操作 简单. 通用 性 强 . 


14-1 进化 计算 的 发 展 过 程 


进化 计算 在 20 世纪 六 七 十 年 代 并 未 受到 普遍 的 重视 - 其 主要 原因 ,一 是 因为 这 些 方法 本 
身 还 不 够 成 熟 : 一 是 由 于 这 些 方法 需要 较 大 的 计算 量 ,而 当时 的 计算 机 还 不 够 普及 且 速 度 较 
便 , 这 样 便 眼 制 了 它们 的 应 用 :三 是 当时 基于 符号 处 理 的 人 工 智 能 方法 正 处 于 其 顶峰 时 期 ,使 
得 人 们 难以 认识 到 其 他 方法 的 有 效 性 及 适应 性 . 到 了 20 世纪 80 年 代 , 人 工 智能 方法 的 局 限 性 
越 来 越 突 出 ,并 且 随 着 计算 机 速度 的 提高 和 并 行 计算 机 的 普及 ,已 使 得 进化 计算 对 机 器 速度 的 
要 求 不 再 是 制约 其 发 展 的 因 索 . 进化 计算 的 不 断 发 展 及 其 在 一 些 应 用 领域 内 取得 的 成 功 ,已 表 
现 出 了 良好 的 应 用 前 景 . 

由 于 进化 计算 在 机 器 学 习 、 过 程控 制 . 经 济 预 测 . 工 程 优化 等 领域 取得 的 成 功 ,引起 了 各 领 
域 科学 家 们 的 极 大 兴趣 , 自 20 世纪 80 年 代 中 期 以 来 ,世界 上 许多 国家 都 掀起 了 进化 计算 的 研 
究 热潮 , 目前 ,有 数 种 以 进化 计算 为 主题 的 国际 会 议 在 世界 各 塘 定 期 召开 ,并 已 出 版 了 多 种 有 
关 进 化 计算 的 杂志 . 可 以 预料 , 随 荐 进化 计算 理论 研究 的 不 断 深信 和 应 用 领域 的 不 断 拓 广 , 进 
化 计算 必 将 取得 更 大 的 成 功 ， 


1.4.2 进化 计算 的 主要 分 支 


进化 计算 的 三 大 分 支 包括 : 遍 传 算法 《Genetic Algorithm ,简称 GA)、 进 化 规划 (CEvolu- 
tionary Programming ,简称 EP) 和 进化 策略 (也 volution Strategies ,简称 ES). 这 三 个 分 支 在 算 
法 实现 方面 具有 一 些 细微 的 差别 ,但 它们 具有 一 个 共同 的 特点 , 即 都 是 借助 生物 进化 的 思想 和 
原理 来 解决 实际 问题 - 

下 而 我 们 分 别 就 这 三 个 分 支 作 以 简单 的 介绍 - 

1. 遗传 算法 

遍 传 算法 是 一 类 通过 模拟 生物 异 自然 选择 和 自然 遗传 机 制 的 随机 化 搜索 算法 ,由 美国 
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Holand 教授 于 1975 年 首次 提出 . 它 是 利用 某 种 编 玛 技术 作用 于 称 为 染色 体 的 二 进 制 数 呈 
其 基本 思想 是 模拟 由 这 些 串 组 成 的 种 群 的 进化 过 程 ,通过 有 组 织 的 、 然 而 是 随机 的 信息 交换 来 
重新 组 合 那些 适应 性 好 的 串 , 遗传 算法 对 求解 问题 的 本 身 一 无 所 知 * 它 所 需要 的 仅 是 对 算法 所 
产生 的 每 个 染色 体 进行 评价 ,并 根据 适应 性 来 选择 染色 体 ,使 适应 性 好 的 染色 体 比 适应 性 差 的 
染色 体 有 更 多 的 繁殖 机 会 . 遗传 算法 尤其 适用 于 处 理 传统 搜索 方法 难于 解决 的 复杂 的 非 线 竹 
问题 ,可 广泛 用 于 组 合 优化 、 机 器 学 如、 自 适应 控制 .规划 设计 和 人 工 生命 等 领域 ,是 21 世纪 有 
关 智 能 计算 中 的 关键 技术 之 一 . 

2. 进化 策略 

1964 年 ,由 德 围 柏林 工业 大 学 的 Rechenberg I 等 人 提出 . 在 求解 流体 动力 学 柔性 灾 曲 管 
的 形状 优化 问题 时 ,用 传统 的 方法 很 难 在 优化 设计 中 措 述 牺 体 形状 的 参数 ,然而 利用 生物 变异 
的 思想 来 随机 地 改变 参数 值 并 获得 了 较 好 的 结果 . 随后 ,他 们 便 对 这 种 方法 进行 了 深信 的 研究 
和 发 展 ,形成 了 进化 计算 的 另 一 个 分 支 一 进化 策略 . 

进化 策略 与 遗传 算法 的 不 同 之 处 在 于 :进化 策略 直接 在 解 空间 上 进行 操作 ,强调 进化 过 程 
中 从 父 体 到 后 代行 为 的 自 适应 性 和 多 样 性 ,强调 进化 过 程 中 搜索 步 长 的 身 适应 性 凋 节 ;而 遗传 
算法 是 将 原 问题 的 解 空间 映射 到 位 串 空间 之 中 ,然后 再 施行 遗传 操作 , 它 强调 个 体 基 因 结 构 的 
变化 对 其 适应 度 的 影响 . 

进化 策略 主要 用 于 求解 数值 优化 问题 . 

3, 进化 规划 

进化 规划 的 方法 最 初 是 由 美国 人 FogelL ] 等 人 在 20 世纪 60 年 代 提 出 的 - 他 们 在 火 工 智 
能 的 研究 中 发 现 ,智能 行为 要 具有 能 预测 其 所 处 环境 的 状态 ,并 按照 给 定 的 目标 做 出 适当 的 响 
应 的 能 力 . 在 研究 中 ,他 们 将 模拟 环境 描述 成 是 由 有 限 字 符 集 中 符号 组 成 的 序列 ， 


1 4-3 进化 计算 的 主要 特点 


进化 算法 与 传统 的 算法 具有 很 多 不 同 之 处 ,但 其 最 主要 的 特点 体现 在 下 述 两 个 方 而 ， 

1. 智能 性 

进化 计算 的 智能 性 包括 自 组 织 、 自 适应 和 自学 习性 等 . 应 用 进化 计算 求解 问题 时 ,在 确定 
了 编码 方案 ,适应 值 函 数 及 遗传 算 子 以 后 ,算法 将 根据 “ 适 者 生存 .不 适应 少 淘 汰 "的 策略 ,利用 
进化 过 程 中 获得 的 信息 自行 组 织 搜索 ,从 而 不 断 地 向 最 佳 解 方向 通 近 . 

自然 选择 消除 了 传统 算法 设计 过 程 中 的 一 个 最 大 障碍 : 即 需 要 事先 捕 述 问题 的 全 部 特点 ， 
并 说 明 针对 问题 的 不 同 特点 算法 应 采取 的 措施 . 于 是 ,利用 进化 计算 的 方法 可 以 解决 那些 结构 
尚 无 人 能 理解 的 复杂 问题 . 

2. 本 质 并 行 性 

进化 计算 的 本 质 并 行 性 表现 在 两 个 方 而 :一 是 进化 计算 是 内 在 并 行 的 , 即 进化 计算 本 身 非 
常 适合 大 规模 并 行 , 二 是 进化 计算 的 内 含 并 行 性 ,由 于 进化 计算 采用 种 群 的 方式 组 织 搜索 ,从 
而 它 可 以 则 时 搜索 解 空间 内 的 多 个 区 域 ,并 相互 交流 信息 ,这 种 拓 索 方式 使 得 进化 计算 能 以 较 
少 的 计算 获得 较 大 的 收益 . 
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人 工 神 经 网 络 能 够 通过 学 习 和 训练 获得 用 数据 表达 的 知识 ,除了 可 以 记忆 已 知 的 信息 之 
外 ,神经 网 络 还 具有 较 强 的 概括 能 力 和 联想 记忆 能 力 . 神经 网 络 在 智能 控制 .模式 识别 、 诊 类 分 
析 和 专家 系统 等 方面 都 取得 了 令 人 鼓 王 的 进展 . 但 神经 网 络 的 推理 知识 表示 体现 在 网 络 连接 
权 值 上 ,表达 比较 难以 理解 ,这 是 它 的 一 个 缺点 . 

模糊 系 统 以 扎 德 创立 的 模糊 集合 论 为 基础 , 抓 住 了 人 类 思维 中 的 模糊 性 特点 ,以 模 灶 推 理 
来 处 理 常规 方法 难以 解决 的 难题 ,能 对 复杂 事物 进行 模糊 识别 模糊 度量 . 目前 ,模糊 系统 在 自 
动 控制 ,信息 处 理 ` 人 工 智能 等 方面 都 得 到 了 广泛 的 应 用 . 模 糯 系统 的 显著 特点 是 能 够 直接 地 
表示 届 辑 , 适 于 直接 的 或 高 级 的 知识 表达 ,具有 较 强 的 逻辑 功能 . 但 是 对 于 模糊 系统 来 说 ,模糊 
推理 虽然 是 一 种 普 于 表现 知识 的 推理 方法 ,但 它 没有 本 质 的 获取 知识 的 能 力 , 模 糯 规 则 的 确定 
也 比较 困难 ,通常 需要 领域 专家 知识 的 指导 .因此 如 何 构造 可 自动 处 理 模 燃 信息 的 模糊 系统 ， 
即 实现 模 糯 规 则 的 自动 提取 和 模糊 变量 素 属 度 函 数 的 自动 生成 及 优化 ,一 直 是 困扰 模糊 信息 
处 理 技术 进一步 推广 的 难题 . 

随 着 对 模 痢 系统 和 神经 网 络 研究 的 深信 ,两 个 领域 问 相互 独立 的 关系 逐渐 政变 . 如 果 将 它 
们 进行 综合 ,即将 符号 逮 辑 推理 方法 与 联接 机 制 方法 进行 结合 ,将 数值 方法 和 模糊 逻辑 方法 进 
行 结合 ,其 优势 将 远 远 高 于 单项 研究 . 模糊 系统 和 神经 网 络 的 融合 导致 了 模糊 拌 经 网 络 的 产 
生 ，, 府 多 学 者 已 对 此 进行 了 尝试 . 

进化 计算 模拟 生物 进化 的 过 程 ,依据 适 者 生存 .优胜 劣 涩 的 进化 规则 ,对 包含 可 能 解 的 种 
群 反 复 进行 基于 遗传 的 操作 ,不 断 生 成 新 的 种 群 并 使 种 群 不 断 进 化 ,同时 以 全 局 并 行 搜索 方式 
来 搜索 优化 种 群 中 的 最 优 个 体 ,以 求 得 满足 要 求 的 最 优 解 . 其 主要 优点 是 简单 , 鲁 棒 性 强 ,搜索 
空间 大 . 

神经 网 络 的 网 络 结构 的 设计 和 权 值 的 训练 是 一 个 十 分 重要 而 困难 的 何 题 ,传统 的 方法 多 
是 赁 经 验 或 启发 知识 来 设计 网 络 , 用 梯度 法 来 确定 其 中 的 权 值 ,常常 需要 进行 反复 试验 面 且 还 
很 难 找到 最 优 的 网 络 结构 和 权 值 . 面 进化 计算 为 神经 疝 络 的 自动 设计 和 训练 提供 了 一 种 新 的 
途径 ,这 就 是 进化 神经 网 络 . 

神经 网 络 \ 模 粗 系 统 、 进 化 算法 三 考研 究 同步 发 展 , 相 五 浴 透 .界限 日 益 模糊 ,人 们 逐渐 计 
识 到 由 三 者 交叉 组 成 的 新 系统 具有 更 强 的 功能 ,因而 三 者 相互 融合 的 研究 是 当今 三 个 分 支 研 
帘 的 热点 . 
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第 二 章 ”人工 神经 网 络 的 基本 模型 


人 工 神经 网 络 (ANN》 是 由 大 量 的 神经 元 互 连 而 成 的 网 络 . 它 是 在 现代 神经 科学 研 完成 果 
的 基础 上 提出 的 ,反映 了 人 脑 功能 的 基本 特性 .但 它 并 不 是 人 脑 的 真实 描写 ,只 是 它 的 某 种 抽 
象 \. 简 化 与 模拟 . 根据 神经 细胞 的 结构 和 功能 ,从 20 世纪 40 年 代 开始 ,先后 提出 的 神经 元 模型 
有 几 百 种 之 多 . 


8$2.1 生物 神经 元 


生物 神经 元 是 脑 组 织 的 基本 单元 ,大 约 140 亿 个 ,尽管 在 种 类 (50 余 种 )\ 大 小 形状 上 有 养 
异 : 但 是 作为 信息 处 理 单元 ,其 结构 和 功能 上 大 体 雷 同 - 


2.1.1 神经 元 的 结构 


本 体 : 细 脑 体 (细胞 膜 . 质 , 核 ), 对 输 和 人 信号 进行 处 理 , 相 当 于 CPU. 

树 突 :本 体 向 外 伸 出 的 分 支 ,多 根 ,长 1 mm 左右 ,本 体 的 输 和 人 端 . 

轴 突 :本体 向 外 伸 出 的 最 长 的 分 支 , 即 神经 纤维 ,一 根 , 长 1 cm~1 m 左右 ,通过 轴 突 上 的 
神经 末梢 将 信号 传 给 其 他 神经 元 ,相当 于 本 体 的 输出 端 . 

突 触 :各 神经 元 之 间 轴 突 和 树 突 之 间 的 接口 , 即 神 径 末梢 与 树 突 相 接触 的 交界 面 , 每 个 细 
脑 体 大 约 有 10* 一 10 个 突 触 . 突 触 有 兴奋 型 和 抑制 型 两 种 . 


、 _Ae 5 
一 < 5 


来 自 其 他 细胞 
纪 胞 并 。 树 突 的 神经 未 林 


神经 未 梢 


图 2.1 神经 元 结构 


2.1.2， 膜 电 位 与 神经 元 的 兴 罕 


膜 电位 :细胞 膜 将 细 脑 分 为 内 外 两 部 分 , 当 外 部 电位 为 0 时 , 称 内 部 电位 为 腊 电 位 . 

静止 脑 电 位 : 当 没 有 输 人 信 叶 时 的 膜 电 位 称 为 静止 脑 电位 ,通常 为 一 70 mV 左右 - 

兴 奇 状态 : 当 外 部 有 输入 信号 时 ,将 使 膜 电位 发 生变 化 ,倘若 使 量 电 位 升 高 , 比 静 止 膜 电位 
高 15 mVY 以 上 , 即 超过 一 55 mV( 阔 值 ), 神 经 元 被 激活 ,内 部 电位 忽 剧 上 升 至 100 myV 左右 ,并 
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维持 约 1 ms, 然 后 急剧 下 降 . 相当 输出 一 个 100 mV 高 1 ms 宽 的 脉冲 ,并 沿 轴 罕 以 100 mys 的 
速度 传 至 其 他 的 神经 元 . 

抑制 状态 : 当 外 部 输 人 信号 使 膜 电位 下 降低 于 阅 值 电位 时 ,神经 元 处 于 抑制 状态 ,无 防 冲 
输出 . 

“兴奋 一 抑制 "状态 满足 “0 一 1? 律 

A/D 转换 : 电 赎 冲 到 达 各 突 触 接口 后 ,放出 某 种 化 学 物质 ,该 物质 作用 于 各 个 和 其 相连 的 
神经 元 的 细胞 膜 ,并 使 其 膜 电位 发 生变 化 ,完成 了 将 离散 的 脉冲 信和 号 转换 为 连续 变化 的 电位 信 
号 . 

不 应 期 ,神经 元 输出 一 个 脉冲 后 ,一 段 时 间 内 对 激励 不 响应 , 称 之 为 不 应 期 ,一 般 为 几 蓝 
秘 . 

时 间 加 算 功 能 :对 于 不 同时 间 通 过 同一 突 触 传人 的 信号 具有 时 间 的 加 算 功 能 . 

空间 加 算 功 能 :对 于 同一 时 间 通 过 不 癌 突 触 的 输 和 人 信号 具有 空间 如 算 功 能 . 


$ 3.2 人 工 神经 元 的 形式 化 模型 


自从 1943 年 ,美国 心理 学 家 McCulloch 和 数学 家 Pitts 合作 提出 了 形式 神经 元 的 数学 模 
型 , 即 MP 模型 以 来 ,已 有 拖 百 种 神经 元 模型 被 提出 . 


2.2.1 M-P 模型 








MP 模型 的 简化 图 见 图 2.2, 其 中 图 中 的 茵 表示 神经 元 的 细胞 体 , 输 人 线 表 示 神 经 元 的 树 
罕 , 带 箭头 的 连接 表示 兴奋 性 突 触 连接 , 带 小 医 的 连接 玫 示 抑制 性 窦 触 的 连接 ,输出 线 表示 神 
经 元 的 轴 突 ,图 中 的 8 表示 神经 元 兴奋 时 的 阐 值 .与 图 2. 1 对 照 , 可 以 看 出 ,M-P 模型 在 一 定 程 
度 上 反映 了 生物 神经 元 在 结构 上 和 功能 上 的 特征 . 但 是 M-P 模型 给 抑制 性 输入 赋予 了 “否决 
权 ”, 只 有 当 不 存在 抑制 性 输 人 而 兴奋 输 人 的 加 算 和 超过 了 阔 值 时 ,神经 元 才 会 兴奋 . 具体 过 程 
可 以 描述 为 : 





输 人 条 件 输出 
具 
ZL 一 b3P0 且 > 杞 =0 时 YY 一 | 
剖 气 
人 
ZI 一 8Z0 且 也 丁 >>0 时 立 一 0 
的 人 (2.2.1) 
ITF-b<0 上 且 了 了 杞 =0 时 一 0 
吉 治 ; 
到 
ZTE -0O<0 且 > 马 >>0 时 一 0 
名 后 


MP 模型 是 神经 元 的 一 种 数理 避 辑 (形式 光 辑 )， 因此 ,可 以 利用 它 来 实现 常规 的 Boole 丈 辑 运 
算 . 
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兴 音 性 
和 给 入 


抑制 性 
输 入 





图 2.2 M-P 模型 


2.2.2 线性 加 权 模 型 


在 M-P 模型 基础 之 上 的 一 种 变型 , 称 为 线性 加 权 神 既 元 模型 , 它 的 结构 和 功能 如 图 2. 3 
所 示 . 
输入 条 件 输出 


史 


则 
了 > 一) 盏 一 9 闷 0 立 一 1 
人 《2.2.2) 


总 如 
了 > 一 > 本 一 9<0 YY 一 0 
后 


7 


兴奋 性 五 
tr 


孝 制 性 如 





上 iv 


到 2.3 线性 加 权 M-P 模型 
由 图 看 出 ,线性 加 权 模 型 与 MP 模型 的 主要 区 别 在 于 对 抑制 性 突 船 的 联接 强度 的 赋值 . 
在 M-P 模型 中 这 个 权 值 可 以 理解 为 一 co ,在 线性 加 权 模 型 中 为 一 ]。 


2.2.3 阅 值 还 辑 模型 


在 实际 中 更 为 常用 的 MP 模 埠 是 在 前 述 模型 的 基础 上 的 进一步 改进 ,用 可 在 [一 1,1] 区 
间 取 值 的 权重 来 表示 输入 的 突 触 连接 强度 ,用 权重 的 正 负 来 表示 输入 突 触 是 兴奋 性 突 触 还 是 
抑制 性 突 触 ( 见 图 2. 4)- 








图 2.4 逆 值 远 辑 M-P 模型 
其 中 :五 各 (一 1 十 1 YE (一 1, 十 ij ,WiEE 一 1, 十 1]， 


并 一 sen( 立 md 一人 《2.2.3) 
各 
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< 一 ] 工 芝 0 
sgnCO 一 1 1 < 


MrP 模型 可 实现 布尔 还 辑 运算 ,存储 元 件 , 模 拟 条 件 色 射 的 建立 和 消退 的 功能 . 
如 果 把 靖 值 也 看 作为 一 个 权 值 , 则 (2. 2,3) 可 以 收 写 为 : 


上 
了 一 sgn(2WiT) 《2. 2. 4 


这 里 克 , 一 一 0, 五 一 1 
氏 2.5. 图 2.6、 图 2.7、 萎 2.8、 图 2.9 分 别 示 出 了 用 MrB 模型 实现 二 元 Boole 逻辑 、 三 元 
Beole 小 项 尿 辑 .神经 元 的 延 时 作用 、 利 用 神经 元 构造 存储 元 件 .模拟 条 件 反射 的 神经 网 络 . 


而 而 
了 四 了 和 有 并 > 和 + 
克 如 


图 2.5 用 MP 模型 实现 二 元 Boole 逻辑 
四 四 
0 .00 2 1 了 Ya 
3 
1 3 一 一 
90901 7=Zary 
2 
1 2 二 一 
0 1 0 = 
3 
“ 1 一 
0 1 1 az Ra 
3 
2 1 一 一 
1 0 0 了 Xiax3 
3 
一 
30 1 汪 了 了 20Xa2X3 
3 
2 四 
3 
和 . 
3 四 


图 2.6 用 M-P 模型 实现 三 元 Boole 小 项 逻辑 


?| | 
下 
划 一 一 他 一 一 必 xD) ! 
[| 
， 


团 2.7 神经 元 的 延 时 作用 
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兴 音 输入 
兴 商 栓 入 ， 
折 制 答 入 | | 口 ) 
输出 f 上 


输出 ! ， 
抑制 输入 ， ， 
四 











图 2.9 模拟 条 件 反射 的 神经 网 络 


考虑 到 信号 通过 一 个 神经 元 总 是 需要 一 定时 间 ,可 以 把 神经 元 看 成 是 一 个 具有 单位 政 时 
的 神经 组 织 . 

这 样 利 用 神经 元 的 延 时 作用 和 线性 加 权 原 理 , 就 可 以 通过 引信 适 当 的 反馈 联接 方式 实现 
记忆 功能 . 

简 用 神经 元 的 适当 模型 可 以 构造 具有 某 些 复杂 行为 的 网 络 系统 ,这 就 是 神经 网 络 . 早期 的 
神经 网 络 都 比较 简 时 ,通常 是 用 分 立 电子 器 件 实现 ( 即 所 谓 硬件 方法 ). 网 络 中 只 包含 很 少 几 个 
神经 元 .模拟 的 行为 也 比较 简单 ,不 过 都 在 某 种 程度 上 具有 智能 的 特征 . 

图 2. 9 是 一 个 用 来 模拟 条 件 反 射 的 建立 和 消退 的 旱 期 神经 网 络 系统 . 图 中 天 代表 无 条 
件 刺激 〈 如 巴 甫 洛 夫 试 验 中 的 “食物 ”,X: 代表 条 件 刺 激 或 信号 (如 巴 甫 洛 夫 试验 中 的 “ 铃 
声 ” ,Th 和 IN 分别 是 限 值 为 Ni 和 N: 的 * 达 限 归 零 ? 计 数 器 , 即 当 输入 Ni CN:) 个 脉 囊 后 , 计 
数 器 产生 一 个 脉冲 输出 ,同时 回 零 重新 计数 .用 数学 语言 来 说 就 是 一 个 mod Ni (mod Nz) 的 模 
计数 器 . 图 中 其 余 的 组 件 ( 共 5 个 :Z…Zs ?都 是 基于 线性 加 权 模 型 的 神经 元 ,它们 的 闵 伪 和 联 
蕉 方式 都 已 在 图 中 注 明 ， 

对 照 图 2.9 可 以 看 出 ,如 果 Xi 和 s 同时 输入 N< Ni 次 ,那么 ,一 方面 由 于 与 K 有 
直接 联系 ,2s 就 会 产生 六 次 输出 ,表示 Y 在 每 次 联合 刺激 下 都 产生 兴奋 ; 另 一 方面 由 于 六 与 
乙 有 联系 ,Xs: 与 有 联系 ,因此 乞 也 会 产生 N 个 脉冲 送 到 模 计 数 器 Ni ,但 因 N< INn , 故 模 
计数 器 Ni 不 会 产生 输出 ;再 者 ,由 于 届 是 Ze 的 抑制 性 输入 ,于 是 乙 不 能 兴奋 ,Ns 不 计数 ， 
在 这 种 情形 下 ,Z 无 输出 ,因此 Z, 也 不 能 兴奋 . 这 个 过 程 相当 于 巴 甫 洛 夫 试验 中 建立 条 件 反 
射 的 训练 过 程 . 
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一 旦 当 N 一 Ni , 则 模 计 数 器 ii 产生 输出 脉冲 ,从 而 使 2 兴奋 (注意 此 时 模 计 数 器 N: 仍 
然 没有 输入 和 输出 ). 一 旦 写 兴 奋 , 由 于 存在 反馈 联接 ,将 使 忆 维持 兴奋 状态 (记忆 ) ,Z: 恒 有 
输出 送 至 Z4 ,在 这 一 条 件 下 ,一 方 而 由 于 X; 直接 作用 使 2 兴奋 ,同时 由 于 关 与 Xs 的 作用 
使 Z 产生 输出 也 会 使 Z: 兴奋 ,这 是 条 件 反射 建立 起 来 的 标志 . 

此 后 ,如 果 只 有 as 输入 而 没有 Xi: 的 输入 ,Zs 也 会 产生 兴奋 人 Y 一 1). 这 就 是 条 件 反射 的 
效应 , 

但 是 ,如 果 事 件 区 六 ( 即 有 铃声 无 食物 ) 出 现 的 次 数 达到 次 ,那么 ,由 于 2 的 抑制 性 输入 
不 起 作用 . 己 产生 了 J 个 脉冲 送 给 模 计 数 器 ,使 模 计 数 器 ]Y 产生 一 个 脉冲 送 给 民 , 从 而 清 
除了 Z 的 兴奋 记忆 ,结果 使 0 不 能 兴奋 ,因此 ,Z 也 不 再 能 兴奋 . 这 就 是 条 件 反射 的 消 妈 . 


8$ 2.3 电子 神经 元 


图 2. 10 是 一 个 典 现 的 人 工 电 子 神经 元 . 在 这 个 人 工 电 子 神经 元 中 ,用 一 个 电子 放大 器 作 
为 人 工 神经 元 的 细 胸 体 ,这 个 作为 细胞 体 的 电子 放大 器 是 由 一 些 二 极 管 和 三 极 管 组 合成 的 . 放 
大 器 的 输入 端 作为 人 工 神经 元 的 树 突 , 可 以 用 来 输入 信和 导 ,放大 器 的 输出 端 可 以 看 作 入 工 神 经 
元 的 轴 罕 , 它 可 以 用 来 输出 神经 元 的 信 导 . 在 放大 器 的 输入 端 和 输出 端 联接 了 一 些 电 阻 器 ,这 
就 好 像 是 树 突 上 的 罕 拔 ,这 些 电阻 不 仅 可 以 用 来 传递 信息 ,而且 还 能 用 来 记忆 信息 ,使 电子 神 
经 元 具有 学 习 功 能 - 因此 ,这 些 作为 突 触 的 电阻 是 可 变 电 阻 ,也 是 设计 人 工 电子 神经 元 的 关键 . 
它们 是 代表 输入 点 到 神 径 元 间 的 权重 ,并 在 外 部 控制 信号 作用 下 可 改变 其 阻 值 . 由 此 ,图 2. 10 
的 人 工 电子 神经 元 也 像 真 的 生物 神经 元 那样 具有 细 跑 体 , 树 突 、 突 鬼 和 轴 突 ,而 且 也 能 像 真 的 
生物 神经 元 那样 ,可 以 传递 信息 ,还 可 以 记忆 信息 ,并 具有 学 习 本 领 . 当然 ,这 种 人 工 神经 元 的 
学 习 功 能 ,与 生物 神经 元 相 比 , 那 当 然 是 差 得 很 远 了 . 

从 人 工 神 经 元 输 人 /输出 的 关系 出 发 ,一 般 可 将 人 工 神经 元 分 成 三 种 模式 ,图 2. 11(a) 是 
阶梯 柳 式 , 当 输 入 信 身 汪 大 于 等 于 某 一 个 值 = 时 神经 元 被 激活 ,这 时 输出 Y 等 于 1. 其 他 时 
怪 , 人 工 神经 元 处 于 非 激活 状态 ,输出 了 等 于 0. 图 2. 11(b) 是 蕉 线性 模式 , 拖 当 输 人 信 生 大 于 
某 一 个 值 < 时 ,神经 元 被 激活 ,这 时 输出 站 等 于 1. 当 输入 信号 X 小 于 等 于 0 时 ,神经 元 处 于 非 
激活 状态 ,输出 等 于 0. 当 输 人 X 介 于 a 与 0 之 问 时 ,与 X 是 线性 关系 . 图 3. 11(c) 是 “S* 揭 
线 模 式 ,人 工 神经 元 输入 与 输出 之 间 满 足 Y 一 1/(1 十 e-x) 关 系 . 由 于 “S” 曲 线 窗 式 表 明 人 工 神 
经 元 上 一 种 非 训 性 模式 ,目前 受到 科学 家 们 的 广泛 重视. 


输入 
( 桂 宽 ) 


放大 器 (细胞 体 》 





电 卫 器 ( 奖 触 ) 
图 2. 10 人 工 电子 神经 元 
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]| 革 1 za 
外) 了 =- 
0.S 号 0 ca 
0 四 大 
阶梯 模式 
1 导演 严 
1 7 
人 b) = 4 天 0<X<a 
0.5 
0 X<0 
0 站 帮 
淮 线 竹 模式 
了 
1 一 人 = 一 一 
0.5 1+e 
0 - 天 曲线 模式 


图 2.14 人 工 神 经 元 网 络 的 三 种 模式 
8$2.4 人 工 神 经 网 络 械 型 


人 工 神经 网 络 定义 ;Kohonen T 指出 人 工 神经 网 络 就 是 由 简单 单元 (通常 为 适应 型 ) 组 
成 的 广泛 并 行 互 连 的 网 络 , 它 的 组 织 能 够 模拟 生物 神经 系统 的 真实 世界 物体 所 做 出 的 交互 
反映 ， 


2.4.1 神经 网 络 节点 的 形式 化 描述 


如 图 2. 12 所 示 , 设 w 为 构成 神经 网 络 的 某 个 神经 元 的 内 部 状态 ,6 为 阔 值 ,zx: 为 输入 信 
号 ,wwz 表 示 从 xz 到 ww 连接 的 权 值 . s 表示 外 部 输入 信号 (在 某 些 情况 下 , 它 可 以 控制 神经 元 
2 使 它 保 持 在 某 一 状态 ,上述 假设 可 描述 为 ; 


四 一 > zy 十 5 一 6 《2.4.1) 
二 一 Fo) 《2.4.2) 
一 EC) 一 大 Co)， 下 一 BF 《2. 4, 3) 





图 2. 12 神经 元 结构 模型 
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2.4.2 神经 元 状态 转移 函数 的 类 型 
当 神经 元 没有 内 部 状态 时 ,可 令 % 一 zk 一 拓 如 图 2. 13 所 示 , 常 用 的 神经 元 状态 转移 天 














数 有 : 
人 ze io 
5 5 0 一 
0 全 
1 
一 
1 阶 姥 函数 
如 图 2. 13(a) 所 示 ， 
1 oz0 
一 一 2.4.4)》 
> 一 Ao) f ,< ( 
2. 准 线形 函数 
如 图 2. 13(b) 所 示 ， 
工 ga 
3 一 Jo) = 一 Jo/a 0 委 o<<a 《2.4.5) 
0 ee<0 


3. Sigmoid 画 数 
如 图 2. 13(c) 所 示 ， 


(ec) 一 《2. 4. 6) 


-上 
工 十 ec 
4. 双 曲 正切 函数 

如 玫 2. 133(d) 所 示 ， 


8) 一 tho 《2.4.7》 
2.4.3 神经 网 络 分 类 及 其 拓扑 结构 


一 、 神 经 网 络 的 分 类 

1. 按照 对 生物 神经 系统 的 不 同 组 织 层次 和 抽象 层次 的 模 氢 分 

(1 神经 元 层次 模型 ,研究 工作 主要 集中 在 单个 神经 元 的 动态 特性 和 自 适 应 特性 ,探索 神 
经 元 对 输入 信息 选择 的 响应 和 某 些 基本 存 凡 功 能 的 机 理 . 

〈2) 组 合式 模型 : 它 由 救 种 相互 补充 .相互 协作 的 神经 元 组 成 ,用 于 完成 某 些 特定 前 任务. 
如 模式 识别 、 机 器 人 控制 等 . 

53) 网络 层次 模 更: 它 是 由 许多 相同 神经 元 相互 连接 而 成 的 网 络 , 从 整体 上 研究 网 络 前 集 
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体 特性 ， 

《4) 神 经 系统 模型 :一 般 几 多 个 不 同性 质 的 神经 网 络 构成 ,以 模拟 生物 神经 的 更 复杂 或 更 
抽象 的 性 质 ， 

《5) 智 能 型 模型 ;这 是 最 抽象 的 层次 ,多 以 语言 形式 模拟 人 脑 信息 处 理 的 运行 .过 程 .算法 
和 策略 . 这 些 模型 试图 模拟 如 感知 思维、 问题 求解 等 基本 过 程 且 与 Al 相关 ， 

2. 按照 网 络 的 结构 与 学 习 方式 分 

《也 按照 网 络 的 性 能 分 :连续 型 与 离散 型 网 络 ,确定 型 与 随机 型 网 络 . 

《2) 按 照 网 络 的 结构 分 :前 锁 网 络 , 反 馈 网 络 . 

《3) 按 照 学 习 方 式 分 :有 教师 指导 的 网 络 , 无 教师 指导 的 网 络 . 

《4) 按 照 连 接 突 触 的 性 质 分 :一 阶 线性 关联 网 络 ,高 阶 线性 关联 网 络 . 

二 、 神 经 网 络 的 拓扑 结构 

1 不 含 反 镀 的 前 向 网 络 

如 图 2. 14(a) 所 示 , 神 经 元 分 层 排列 * 组 成 输入 层 、 隐 层 ( 亦 称 中 间 层 ,可 有 若干 良 ) 和 输出 
层 . 每 一 层 的 神经 元 只 接受 前 一 层 神 经 元 的 输入 . 输入 模式 经 过 各 层 的 顺 次 变换 后 ,得 到 输出 
层 输出 ,感知 器 和 误差 反 疝 传播 算法 中 所 使 用 的 网 络 都 属于 这 种 类 型 . 

2. 从 输出 层 到 输 人 层 有 反馈 的 前 向 网 络 

如 图 2.14(b) 所 示 , 它 可 用 来 存 喧 某 种 模式 序列 ,如 神经 认 知 机 . 























图 2.14 网络 结 构 的 各 种 形态 

3. 层 内 有 反馈 的 前 向 网 络 

如 图 2. 14(c) 所 示 , 通 过 层 内 神经 元 间 的 相互 结合 ,可 以 实现 同一 庆 内 神经 元 之 间 的 横向 
抑制 或 兴奋 机 制 , 这 样 可 以 限制 每 层 内 能 同时 动作 的 神经 元 数 ,或 者 把 每 层 内 的 神经 元 分 成 若 
干 组 ,让 每 组 作为 一 个 整体 采 动 作 . 例如 ,可 以 利用 横向 抑制 机 制 把 某 层 内 具有 最 大 输出 的 神 
经 元 挑选 出 来 ,而 抑制 其 他 神经 元 处 于 无 输出 状态 ， 

4. 相互 结合 型 网 络 

如 图 2. 14(d) 所 示 , 这 种 阿 络 是 在 任意 两 个 神经 元 之 间 都 有 可 能 有 连接 . HNN 和 Boltz- 
man 机 都 属于 这 一 类 . 在 无 反馈 的 前 向 网 络 中 ,信和 号 一 旦 通过 某 个 神经 元 ,过 程 就 结束 了 . 而 在 
相互 结合 网 络 中 ,信号 要 在 神经 元 之 间 反 复 往返 传递 ,网 络 处 在 一 种 不 断 改变 状态 的 动态 之 
中 . 从 某 个 初 态 开始 ,经 过 若干 次 的 变化 , 才 会 达到 某 种 平衡 状态 . 根据 网 络 的 结构 和 神经 元 的 
特性 ,还 有 可 能 进 人 周期 振荡 或 其 他 如 浑 沌 等 平衡 状态 . 





、22 。 计 算 智能 





以 上 1,2 和 3 看 作 是 4 的 一 种 特殊 情况 ,但 不 论 从 网 络 的 计算 和 学 习 机 制 看 ,还 是 从 它们 
应 用 的 场合 看 ,都 有 很 大 的 区 别 . 
表 2.1 反馈 ANN: 无 教师 指导 学 习 








范式 在 线 离线 ”模式 匹配 学 习 方 式 限制 典型 应 用 
ARTI1 是 和 是 Hebbian 熙 子 二 进 制 类 型 复杂 系统 分 类 
DHNN 不 是 是 否 Hebbian 限于 二 进 制 类 斑 语言 处 理 
CHNN 不 是 是 是 Hebbian 或 竞争 式 有 限 存 到 组 合 优化 

BAN 不 是 是 是 Hebbian 离线 计算 机 图 像 识 细 

室 城 AM 不 是 是 不 是 Hebbian 离线 模拟 存 贮 域 模式 

入 BAML 是 不 是 是 Hebbian 有 限 存 贮 连续 时 间 栈 式 处 理 

CABAM 是 是 是 Hebbian 有 限 存 贮 模拟 组 合 优化 
FOM 是 是 不 是 Hebbian 离线 模拟 组 合 优化 





甫 2.2 无 反馈 ANN: 有 教师 指导 学 习 











范式 在 线 离线 ”模式 匹配 学 习 方 式 限制 典型 应 用 
和 Adaline 否 是 是 误差 纠 钳 离线 处 理 预测 听 声 
Madaline 天 是 是 误差 纠 鲁 离线 学 习 吧 声 消除 

BP 否 是 是 误差 纠 错 离线 学 习 特征 识别 

CPN 否 是 是 Hebbian 缺乏 控制 月 规划 
BM/ACM | 天 是 是 Hebbian 与 模 扳 退火 离线 学 习 组 合 优 北 





表 2.3 前 向 ANN: 有 教师 指导 学 习 











范式 在 线 离线。 模式 匹配 学 习 方 式 眼 制 典型 应 用 

LM 否 是 是 Hebbian 线性 处 理 过 程控 制 

工 AM 否 是 是 Hebbian 有 限 存 于 系统 控制 

最 优 线性 AM 否 是 是 Hebbian 离线 处 理 信和 导 处 理 

AM 是 不 是 是 Hebbian 有 限 存 到 知识 处 理 

盒 申 脑 BBB 不 是 是 是 纠 错 离线 模 抠 实时 分 类 
惑 知 器 理 是 是 纠 铀 线性 可 分 蔬 测 





2.4.4 神经 网 结 的 知识 表示 与 处 理 能 力 


一 、 神 经 网 络 的 知识 表示 

1 .知识 (概念 信息) 的 存储 形式 

20 世纪 80 年 代 , 帆 德 曲 (Feldman) 等 人 提出 在 人 工 神经 网 络 中 采用 连接 制 网 络 模型 
《Connectionist ModeD. 它 不 是 把 知识 (或 概念 ) 保 存在 存 贮 器 中 ,而 是 由 组 成 人 工 神经 网 络 计 
算 机 的 各 个 神经 单元 之 何 的 一 些 连接 和 连接 强度 来 保存 . 这 里 的 连接 强度 ,在 连 扶 制 模 现 中 称 
为 权重” 例如 在 人 工 神经 网 络 中 要 保存 “他 是 工人 ”这 样 一 个 概念 ,就 需要 有 一 个 神经 元 代表 
“他 ”, 一 个 神经 元 代表 “工人 ”, 另 有 一 个 神经 元 代表 “是 ” 当 这 三 个 神 紧 元 之 各 的 连接 强度 都 
园 时 活动 时 , 便 代 表 这 个 概念 输 出 . 如 果 要 增加 新 的 “知识 ", 人 工种 经 网 络 就 必须 增加 新 的 
神经 元 及 它 与 各 有 关 神 经 元 之 间 的 连接 . 数 以 万 计 的 神经 元 互相 连接 , 便 构成 了 人 工种 经 网 
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络 . 

因此 ,连接 制 网 络 模型 的 特点 是 :网 络 中 的 每 个 神经 元 只 记 人 少量 的 信息 . 它们 只 对 输 人 的 
数据 进行 简单 的 逻辑 运算 或 算术 运算 ,并 把 结果 送 到 有 关 的 连 线 上 . 这 些 操作 不 由 外 部 程序 决 
定 , 可 以 由 这 些 神经 元 马 主 地 进行 ， 

2. 知识 表示 和 神经 元 数量 问 的 关系 

神经 元 之 同 用 一 个 逻辑 值 (传递 的 标志 ) 作 为 信息 交换 的 网 络 称 为 递 号 (Mark-passing) 网 
络 , 若 用 一 个 标量 值 作为 信息 交换 的 网 络 称 为 递 值 (Value-passing) 网 络 . 

这 样 , 在 人 工 神经 网 络 中 ,知识 ”不 是 由 一 个 神经 元 来 代表 ,而 是 由 一 组 神经 元 来 代表 , 即 
前 面 所 述 的 分 布 式 表示 法 - 如 果 用 很 少 的 神经 元 来 表 一 个 “知识 ”会 出 现 很 商 的 相 据 编码 概 
率 , 即 造成 < 知识 ”的 混淆 . 韦 肖 《Willshow)? 证 明 , 表 示 一 个 “知识 ”的 神经 元 教 量 , 最 好 是 网 络 
中 神经 元 总 数 的 指数 值 , 即 : 





芋 一 2 
式 中 :YY 一 一 网 络 中 神经 元 的 总 数 ， 
X 一 一 一 个 “知识 ”的 神经 元 数 . 

若 网 络 中 总 共有 10* 个 神经 元 , 则 每 个 “知识 ”最 好 用 20 个 神经 元 来 编码 . 

在 连接 制 网 络 中 ,神经 元 之 间 的 连接 是 动态 的 . 由 于 每 个 神经 元 可 以 同时 输入 信号 进行 处 
理 , 所 以 整个 网 络 可 以 局 时 获取 大 量 的 知识 . 人 工 神 经 网 络 计算 机 可 以 根据 这 些 “ 知 识 ” 的 连接 
权重 来 选择 最 合适 的 答案 . 

二 、 和 神经 两 络 的 工作 方式 

1. 学 习 期 

此 时 各 计算 单元 状态 不 变 , 各 连接 权 值 可 修改 (通过 学 习 样 本 或 其 他 方法 )， 

2, 工作 期 

此 时 各 连接 权 值 固定 ,计算 单元 的 状态 变化 ,以 求 达到 稳定 状态 . 

3. 工作 方式 

“1) 利 用 能 量 函 教 的 所 有 极 小 点 :能 量 函数 的 所 有 局 部 根 小 点 都 起 作用 . 这 一 类 主要 用 于 
各 种 联想 存储 器 .信息 压缩 及 编码 ,通常 称 为 HNN 的 属于 这 一 类 ,也 包含 一 些 自 组 织 阅 络 ， 

〈2) 利 用 能 量 函 数 的 全 局 最 小 点 :只 利用 能 量 函 数 的 全 局 最 小 点 ,这 一 类 主要 用 于 求解 组 
合 最 优化 问题 , 例如 TSP 问题 以 及 视觉 .控制 等 领域 中 的 一 些 反 演 问题 

《3? 利 用 映射 函数 :在 工作 中 不 考虑 能 重 函 数 , 主 要 作用 是 函数 映射 , 它 主 要 包括 用 于 模 
式 分 类 和 特征 抽取 的 多 层 感 知 器 - 

三 神经 网 络 的 信息 处 理 能 力 

1. 信息 的 分 布 式 存储 与 分 布 式 处 理 

在 人 工 神经 网 络 系统 中 ,信息 的 存 贮 与 处 理 (计算 ) 是 合 二 为 一 的 , 即 信息 的 存 贮 体现 在 神 
经 元 互 连 的 分 布 上 ,并 以 大 规模 并 行 分 布 式 方式 处 理 . 这 种 并 行 处 理 决 不 是 简单 地 以 “空间 复 
杂 性 代替 时 间 复 杂 性 ”而 是 反映 不 完全 相同 的 “计算 ”原理 ,从 数学 观点 看 ,可 以 把 神经 网 看 作 
是 由 大 其 子 系统 组 成 的 大 系统 ,系统 的 最 终 行为 完全 由 它 的 吸引 子 决定 ,如 果 视 动力 系统 的 稳 
定 吸 引子 为 记忆 的 话 , 那 么 从 初 态 向 吸引 于 流动 的 过 程 就 是 寻找 记忆 的 过 程 . 初 态 可 以 认为 是 
给 定 有 关 记忆 的 部 分 信息 . 换言之 ,流动 的 过 程 就 是 从 部 分 信息 中 找 出 全 部 信息 的 过 程 , 这 就 
是 联想 记忆 的 基本 原理 . 进一步 , 若 视 动力 系统 的 稳定 吸引 子 为 系统 计算 能 量 画 数 的 最 小 点 ， 
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系统 最 终 会 流向 期 望 的 最 小 点 ,计算 "也 就 在 运动 过 程 中 悄悄 地 完成 了 . 运动 的 时 间 就 是 计算 
时 间 , 这 就 是 神经 网 络 计算 机 的 基本 原理 ， 

2. 神经 网 络 处 理 信 息 的 特点 

神经 网 络 系统 与 现代 数字 计算 机 有 如 下 不 同 ， 

01) 以 大 规模 模拟 并 行 处 理 为 主 ,而 现代 数字 计算 机 只 是 串 行 离散 符号 处 理 . 

《2) 具 有 很 强 的 鲁 竺 性 和 容错 性 ,善于 联想 、 概 锋 ` 类 比 和 推广 ,任何 局 部 的 损伤 不 会 影响 
整体 结果 . 

《3) 具 有 很 强 的 自学 能 力 . 系统 可 在 学 习 过 程 中 不 断 地 完善 自己 ,具有 创新 特点 ,这 不 同 于 
AI 中 的 专家 系统 ,后 者 只 是 专家 经 验 的 知识 库 , 并 不 能 创新 和 发 展 . 

〈4) 它 是 一 个 大 规模 自 适 应 非 线性 动力 学 系统 ,具有 集体 运算 的 能 力 , 这 与 本 质 上 是 线性 
系统 的 现代 数字 计算 机 这 然 不 同 . 

3. 神 经 网 络 处 理 信息 的 应 用 领域 机 

从 广义 角度 讲 , 微 积分 、 文 字 翻 译 、 推 理 等 都 是 一 计算 过 程 ,而 从 数学 观点 看 ,计算 就 是 在 
满足 一 定 的 自然 规则 ,在 某 种 硬件 上 所 发 生 的 一 些 物理 规则 . 因此 ,计算 可 表示 为 一 动力 系统 
中 的 状态 空间 变换 的 轨迹 , 神经 网 络 的 计算 就 是 其 中 状态 的 转换 ,其 计算 过 程 可 以 认为 是 状态 
的 转换 过 程 , 对 给 定 的 输入 ,其 计算 结果 即 是 系统 的 稳定 状态 . 

迄今 为 止 开发 的 30 余 种 神经 网 络 模型 都 是 针对 某 种 特殊 用 途 的 ,因而 对 这 些 特 殊 问 题 是 
有 很 强 的 计算 能 力 - 现在 ,人 们 还 在 努力 寻找 新 的 机 制 以 构造 通用 神经 网 络 模型 , 目前 ,神经 网 
络 至 少 可 以 完成 以 下 信息 处 理 任务 : 

(1) 数 学 通 近 映射 :开发 合适 的 函数 疡 4CR" 一 BCR" ,以 自 组 织 的 方式 响应 以 下 的 样本 
集合 :(za,yi) (zeyyo) (这 里 一 Ac) 或 ?一 Kz) 十 扩 , 其 中 六 为 噪音 过 程 ). 这 里 描述 的 
当然 是 一 般 的 数学 抽象 . 像 识 别 与 分 类 这 些 计算 都 可 以 抽象 为 这 样 的 一 种 近似 数学 映射 . BPN 
和 CPN 模型 都 可 以 完成 这 种 计算 - 

《2) 概 率 密度 函数 的 估计 :通过 自 组 织 的 方式 开发 出 一 组 等 概率 “ 锚 点 ”来 响应 在 空间 R" 
中 按照 一 定 确 定 概率 密度 数 户 选取 一 组 向 量 样本 ri ,zsyzs，…CPN 和 SOM 模型 可 以 完成 
这 种 计算 ， 

《3) 从 二 进 制 数据 基 中 提取 相关 的 知识 :将 从 二 进 制 基 中 提取 的 相关 知识 形成 一 种 知识 的 
聚集 模型 . 这 些 知 识 依照 数据 基 的 自 组 织 在 它们 之 间 有 某 种 统计 上 的 共性 ,并 依 这 些 共 性 来 响 
应 输入 的 数据 基 . BSB 有 能 力 进行 这 种 计算 . 

《4) 形 成 拓扑 连续 及 统计 意义 的 同 构 映 射 :这 是 对 固定 概率 密度 函数 选择 输入 数据 进行 自 
适应 的 一 种 自 组 织 映 射 - 终归 使 得 数据 空间 上 的 不 癌 项 有 某 种 辣 构 . SOM 模型 最 先 计 算 这 类 
问题 . 

5) 最近 相 邻 模式 分 类 :通过 比较 大 量 的 存 贮 数据 来 进行 模式 分 类 ,但 首先 对 样本 模式 进 
行 分 类 . 这 种 能 力 可 应 用 于 暂 态 或 暂 稳 态 模式 分 类 ,并 且 可 用 层次 性 的 存 贮 模式 来 表达 存 贮 . 
绝 大 多 数 的 神经 网 络 模型 均 能 进行 这 种 计算 ,比如 :ART.AVABAM\.BCM.BPN.BSB、CBD、 
CPMJHCP.LRN MDL .HEO、PTR. 

《5) 数 据 更 类 :这 是 采用 自 组 织 的 方式 所 选择 的 “颗粒 ?或 模式 的 聚 类 ,以 此 来 响应 输入 数 
据 - 带 类 是 可 变 的 ,但 要 限制 其 鞍点 的 个 数 . 对 于 任何 新 的 目标 ,只 要 在 系统 中 没有 给 其 提供 聚 
类 ,都 要 形成 新 的 更 类 . 很 显然 ,这 种 甬 力 可 直接 庶 用 于 雷达 的 多 目标 跟踪 ,ART 模型 最 适 于 
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这 种 计算 . 
《7) 最 优化 问题 的 计算 :这 是 用 来 求解 局 部 甚至 是 全 局 最 优 解 的 ,HOP 模型 .BCM 模型 有 
能 力 进 行 这 种 计算 - 


$2.5 人 工 神 经 网 络 的 学 习 规 则 


如 何 调整 网 络 的 权 系 ,使 网 络 能 得 到 希望 的 映射 函数 或 使 网 络 从 初 态 向 稳 态 转换 - 
2. 5.1 人 工 挤 经 网 络 的 学 习 方式 


(1 死记 学 如: 联想 记忆 ( 自 \ 他 ?是 先 设 计 成 记忆 模式 为 稳 态 ,给 定 有 关 信 息 时 就 回忆 起 
来 .如 HNN 网 络 . 

《2) 有 教师 指导 的 学 习 : 给 定 输入 模式 ,教师 指定 期 望 输 出 ,通过 调整 权 系 ,使 实际 输出 与 
期 望 输出 达到 一 致 如 前 向 网 络 的 BP 算法 . 

(3) 竞 争 学 习 : 给 定 一 个 输入 模式 ,使 某 些 ( 个 神经 元 兴 寿 .如 ART 网 络 . 


2.5.2 人 工 挤 经 网 络 的 学 习 规则 


学 习 规 则 可 分 为 以 下 刀 类 : 
一 、 相 关 规 则 
依据 连接 之 间 的 激活 水 平 改 变 权 系 (死记 学 习 ). 
1. Hebb D D 学 习 规 则 
网 络 中 车 第 ;与 第 ; 个 神经 元 同时 处 于 兴奋 状态 , 则 它们 之 问 的 连接 权 值 Wv 应 当 加 强 ， 
即 : 
Wu Ca 十 1) 一 研 p (Co 十 AW， 《2.5.1》 
AWy 一 at 六， a>0 
其 中 为 学 习 速率 系数 ,要 求 : 
YE 人 (01) 或 了 E 人 (全 1 十 1) 
Hopfield 网 络 使 用 修正 的 Hebb 规则 ; 
AW， 一 (27 一 1)C22 一 1) 《2.5.2) 


要 求 ; 
YE{0,L) 或 站 Et 一 1 十 直 
二 、 纠 错 规 则 
依据 输出 节点 的 外 部 反馈 来 改变 权 系 ,使 实际 输出 与 期 望 输 出 相 一 致 (有 教师 指导 的 学 


习 ). 
2. 感知 器 的 学 习 规 则 
51) 如 果 一 个 节点 的 输出 正确 , 则 连接 权 值 不 变 . 
《2? 如 果 输 出 本 应 为 0 而 为 1, 则 相应 地 减 小 权 值 . 
《3)7 如 果 输 出 本 应 为 1 而 为 0, 则 相应 地 增加 权 值 . 
3. 学 可 规则 
网 络 中 神经 元 5 与 神经 元 # 的 连接 权 值 为 Ws，, 则 对 权 值 的 修正 为 : 


，26 - 计 算 智 能 





AWy 一 18: 世 《2.5.3)》 
其 中 : 呈 一 学 习 率 ;3 一 了 一 Y 为 二 的 偏差 , 即 工 的 实际 输出 和 教师 信号 之 差 
和- 一 一 学 习 规则 , 仅 用 于 单 层 网 络 的 学 习 规则 ,如 单 层 感知 器 的 学 习 . 
4 广义 呆 学 习 规则 
用 于 多 层 网 络 , 对 于 输出 层 节点 和 相 邻 隐 层 节点 间 的 权 值 修正 用 人 学 习 规 则 ,对 于 其 他 层 
间 的 连接 权 值 , 则 使 用 广义 3 学 习 规 则 . 设 守 为 隐 层 节点 ,其 偏差 的 计算 为 : 
站 一 Fnet) > 0Wy。 《2.5.4) 
AR 一 376: 《2. 5.5) 
其 中 : 冯 i 的 上 一 层 节 点 的 偏差 
琴 。 i 与 志 间 的 连接 权 值 .; 的 下 一 层 节点 的 偏差 可 以 用 递 归 的 方法 得 到 - 
5. Boltzmann 机 学 习 规则 (模拟 退火 算法 ? 
模拟 递 火 算法 是 应 用 于 神经 网 络 中 的 一 种 重要 的 算法 ,该 算法 能 找到 全 局 最 优 解 . 1953 
年 Meropols N 等 人 研究 二 维 相 变 时 提出 模拟 退火 算法 ,1983 年 Hinton G 下 ,Sejnowski T 了 
和 AckleyD 互 把 这 种 方法 用 于 神经 网 络 ,提出 了 Boltzmann 机 , 1984 年 Geman S 和 Geman D 
给 出 了 退火 率 ( 温 度 随时 间 变 化 率 ? 为 :T(bD7T(C0O)cclVln 已 其 中 T(0) 是 初始 温度 . 这 个 退火 
过 程 太 慢 ,因而 效率 低 ,难于 实用 . 1985 年 Harold H Szu 提出 了 一 种 快速 模拟 退火 算法 , 称 为 
Cauchy Machine, 使 这 种 方法 有 了 实际 应 用 的 可 能 性 ,退火 率 为 :TCD7ATCO)cclAt 
模拟 退火 算法 基本 上 由 三 部 分 给 成 
《17 以 一 定 的 概率 密度 函数 牙 迁 到 新 的 状态 ,这 个 概率 密度 函数 称 为 生成 函数 . 
《2) 以 一 定 的 概率 密度 函数 容忍 评估 函数 的 偶然 上 升 , 这 个 概率 密度 函数 称 为 容忍 函数 
《37 以 一 定 的 冷却 方式 降低 温度 ,这 个 等 效 温度 是 生成 函数 和 容忍 本 数 的 控制 参量 ， 
经 典 的 模拟 退火 算法 中 使 用 了 高 斯 型 生成 函数 ， 


Ge(z) = ez 全 元) 《2. 5.6) 
其 中 Tb 是 温度 ,决定 了 概率 密度 分 布 的 特征 宽度 ,这 种 分 布 函数 远 处 是 指数 型 训 减 的 ,因而 


代表 一 种 局 域 型 搜索 过 程 , 为 了 能 找到 全 局 最 小 ,温度 要 下 降 得 很 慢 ,Geman 兄弟 证 明 只 要 满 
是 退火 率 














工 ( 间 


元 0 《2. 5.7? 


一 工 
Int 


且 T(0? 要 足够 大 . 

算法 大 致 如 下 ,从 一 个 随机 选取 的 状态 出 发 ,依据 生成 函数 产生 一 个 新 的 状态 ,如 果 这 个 
新 的 状态 的 评估 函数 值 比 原来 的 状态 低 , 则 令 它 为 系统 新 的 状态 :如 果 它 比 原 先 状态 的 评估 函 
数值 高 , 则 它 成 为 新 状态 的 概率 由 容 钨 函数 确定 , 若 系统 不 进入 这 个 状态 , 则 它 仍 保 持原 先 的 
状态 ,生成 函数 与 容 丽 本 数 按照 规定 的 冷却 方式 变化 . 

在 学 习 过 程 中 ,随机 地 改变 一 权 值 ,确定 权 值 改变 后 产生 的 最 终 能 量 ,并 按照 下 述 规则 来 
确定 是 否 保留 此 权 值 的 变化 ， 

1) 若 随机 改变 权 值 后 ,能 量 降 低 , 则 保留 这 一 改变 、 

《2) 若 随机 改变 权 值 后 ,能 量 没 降 低 , 则 根据 一 预选 的 概率 分 布 来 保留 这 一 改变 ,否则 

《3)? 拒 绝 权 值 的 改变 ,使 权 值 恢复 到 原来 的 值 . 
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在 第 (2) 步 虽然 性 能 有 可 能 变 差 ,但 从 整体 上 来 看 , 却 能 保证 能 达到 能 重 最 小 点 , 在 (2) 中 
逐渐 减 小 概率 值 - 

6. 梯度 下 降 算法 

将 数学 上 的 最 优化 方法 应 用 于 ANN 中 , 权 值 的 修正 量 正 比 于 误差 对 加 权 的 一 阶 导 数 ， 


3 已 
一 ?和 环 (2.5.8) 





AW， 一 





其 中 :已 描述 误差 的 误差 函数 
一 学 习 率 - 

三 \ 无 教师 揭 导 的 学 习 规则 

学 习 表 现 为 适应 于 输入 空间 的 检 潮 规则 - 

7. 竞争 学 习 规 则 

在 学 习 过 程 中 ,神经 元 均 参 与 彼此 间 的 竞争 活动 ,具有 最 大 输出 的 节点 是 获胜 者 . 该 获胜 
节点 具有 抑制 其 竞争 者 的 能 力 和 激活 邻近 节点 的 能 力 . 只 有 获胜 劳 点 和 其 邻近 节点 的 权 值 允 
许 被 调整 , 获胜 节点 的 邻近 区 域 ( 胜 域 ?在 学 习 过 程 中 逐渐 变 小 . 

设 输入 层 有 ? 个 节点 ,输出 层 m 个 节点, 必 为 臣 离 接近 测度 , 则 : 





廿 一 C wo) (122 (2.5.9) 
后 
胜 者 
中 一 min( 中 )， 了 后 《1 2， (2.5. 10) 
atXi 一 碘 ))， 5 人 


AW -| 《2.5.11) 


0， 了 和 有。 


$2.6 人 工 神经 网 络 与 扰 绕 计算 机 的 比较 


2.6,1 人 工 神 经 网 结 计 算 机 和 冯 “" 诺 依 丢 计 算 机 的 比较 


对 于 人 工 神经 网 络 计算 机 与 汉 ， 诺 依 曼 计算 机 的 主要 不 同 可 见 表 2. 4 
案 2. 4 人工 神经 网 络 计算 机 和 怪 ， 诺 依 曼 计算 机 的 比较 


性 能 比较 汉 “" 诺 依 缀 计算 机 人 工 神 经 网 络 计算 机 





























这 行 方式 囊 行 、 线 村 系统 工行 非 线性 动力 学 系 久 
存储 方式 集中 存储 .存储 咯 中 分 布 存 全 ,过 接 权 值 中 
编程 、 符 号 计算 ,时 辑 拒 理 。 非 篇 径 \ 联 各 记 亿 类比、 

信息 处 理 方式 到 糙 思 维 , 符 号 主义 形 杀 思 维 、 连 楼主 义 

知识 获取 编程 实 再 用 岗子 对 系 纺 进 行 训练 

学 习 能 力 不 能 创新 和 发 展 有 委 学 习 能 旋 

问题 求解 算法 公式 结构 的 选择 和 -组 代表 性 例子 的 定义 

可 兆 性 盖 各 棒 性 强 、 容 异性 好 

计算 精度 高 精度 低 精 度 . 非 线性 号 射 








运算 速度 快 世 





228。 计 算 智 角 





2.6.2 人 工 覃 经 网 络 和 人 工 智 能 的 比较 


一 \ 人 工 神经 网 络 (ANN) 和 人 工 智 能 (AD 的 比较 

《1) 人 工 智 能 系统 是 在 传统 计算 机 硬件 基础 上 发 展 起 来 的 图 灵 过 程 软件 ,以 使 传统 的 计算 
志 更 有 用 和 更 有 智慧 . 

《2) 人 工 神经 网 络 是 把 算法 和 结构 统一 为 一 体 的 系统 ,这 是 一 种 硬件 和 软件 的 泡 含 体 , 由 
于 它 在 某 种 程度 上 模拟 大 芒 的 结构 ,所 以 这 种 系统 有 更 高 的 智慧 . 

《3) 两 者 在 运算 逻辑 上 实际 上 是 相同 的 ,例如 ,识别 事物 均 采用 等 价 类 模型 ,以 识别 华 果 为 
例 ， 当 水 果 、 红色 及 美味 三 要 素 重 玲 时 , 便 判 定 为 苹果 . 

二 .人 工 神 既 网 络 (ANN) 和 人 工 智能 (AI) 在 工作 原理 上 的 不 同 

《1) 知 识 表象 不 同 . AI 用 一 维 哩 表示 知识 ,ANN 则 用 二 维 或 高 维 矩 阵 表 示 知 识 , 优 点 如 
下 : 

全 由 于 自由 度 增 加 ,使 存 竺 空间 扩大 ,因而 存储 容量 可 以 更 大 

四 容错 性 大 为 提高 ,因为 高 维 空 间 中 每 一 状态 有 更 多 的 近邻 ,使 多 体 效应 更 加 复杂 和 显 
著 . 另外 ,多维 空 间 会 有 相 变 ,对 知识 的 存储 和 学 习 有 重要 意义 . _， 

区 高 维 空间 更 易于 分 类 ,分 类 就 是 识别 事物 ,其 原则 是 使 得 同类 事物 更 加 认 集 ,异类 事物 
更 分 离 ,此 原则 在 高 维 空 间 中 容易 实现 - 

《27 学 习 方 式 不 同 , AI 要 求 预 编程 , 它 是 在 措 定 规则 的 基础 上 工作 的 ,这 种 系统 只 能 进行 
推理 , ANN 是 通过 学 习 建 立 和 改变 知识 , 它 具 有 推广 和 扫 象 的 能 力 , 这 种 系统 可 以 进行 引证 ， 
无 需 预 编 程 和 制定 工作 规则 . 


2.6.3 ”人工 神经 网 络 与 生物 系统 前 区 别 


由 于 ANN 是 以 模拟 生物 神经 系统 为 基础 的 ,因此 比较 ANN 和 生 先 神经 系统 的 区 别 对 于 
未 来 的 研究 是 有 实际 意义 的 . 

《1) 数 字 和 逻辑 电路 的 原理 不 适用 于 生物 神经 系统 ,因为 生物 神经 系统 既 没 有 统一 的 时 钟 
来 同步 各 种 神经 元 的 翻转 ,也 没有 硬性 限制 一 次 只 能 有 一 个 神经 元 改变 状 兹 的 异步 泌 辑 . 由 此 
看 来 ,模拟 电路 与 实际 神经 元 比较 接近 . 

《2) 生 物 神 经 元 及 突击 都 不 是 双 稳 态 记忆 元 件 . 

《3) 生 物 神经 系统 中 没有 机 器 指 令 , 也 没有 时 序 控 创 乌 . 

42 生物 神经 系统 不 是 自动 机 ,不 能 完成 递归 运算 ， 

《5 生物 神经 系统 不 拥有 专门 间 题 求解 .抽象 化 或 决策 电路 . 

56? 即 使 在 最 高 层次 上 ,生物 神经 系统 的 信息 处 理 方式 地 与 数字 电路 不 同 . 


$2.7 人 工 神 到 网 络 的 发 展 方向 与 研究 问题 




















ANN 的 研究 方兴未艾 ,要 准确 地 预测 其 发 展 广 向 是 非常 困难 的 - 此 前 ,ANN 模型 首先 必须 
解决 可 编程 性 、 全 局 稳定 性 、 结 构 稳 定性 等 问题 . 今后 的 研究 工作 至 少 包含 以 下 一 些 基本 内 容 . 
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2.7.1 人 工 挤 经 网 络 模型 的 研究 


人 脑 的 生理 结构 , 即 神经 网 络 原型 的 研究 . 

人 脑 思 维 的 机 制 ,特别 要 从 信息 科学 和 认 知 科学 的 角度 来 阐明 这 种 机 人 制 、 

神经 元 生物 特性 如 时 空 特性 \ 不 应 期 .电化 学 性 质 等 完善 的 人 工 模拟 ,如 高 阶 非 线 性 模型 、 
多 维 局 域 连 接 模 型 . 

神经 网 络 计算 模型 ,特别 是 统一 化 的 便于 实现 的 模型 . 

神经 网 络 学 习 算 法 与 学 习 系 统 . 


2.7.2 人 工 利 经 网 络 基 本 理论 的 研究 


非 线性 内 在 机 制 一 一 自 适 应 、 自 组 织 ` 协 同 作 用 ,突变 、 胡 怪 吸引 子 与 学 江 、 分 维 、 耗 散 结 
构 、 随 机 非 线 性 动力 学 等 ， 

神经 网 络 的 基本 特性 一 一 稳定 性 \ 收 敛 性 、 容 错 性 、 重 贸 性 .动力 学 复杂 性 . 

神经 网 络 的 能 力 与 判别 准则 一 一 计算 能 力 .准确 性 、, 存 贮 容量 .准则 的 表达 与 综合 性 能 判 
别 . 

面向 应 用 的 网 络 设计 与 综合 一 一 专用 和 通用 神经 网 络 计算 机 的 设计 、 单 元 连接 .运算 模 
式 `MO、 存 贮 /计算 ,与 现 有 技术 的 兼容 与 匹配 等 . 


2.7.3 ”人工 神经 网 络 智 能 信息 处 理 系 统 的 应 用 研究 
自 适 应 信号 处 理 一 一 直送 应 滤波 .时 问 序 列 预测 .均衡 . 谱 估 计 、 阵 列 处 理 、 检 测 噪声 相 消 











等 - 
非 线性 信号 处 理 一 一 非 线性 滤波 , 非 线性 预测 、 非 线性 谱 估 计 、 非 线性 编码 .映射 .调制 . 解 
调 、 中 值 预 处 理 等 ， 、 
优化 与 控制 一 一 优化 求解 .办 识 、 鲁 棒 性 控制 . 自 适 应 . 变 结构 控制 .决策 与 管理 并行 控 
制 、 分 布控 制 ,智能 控制 等 ; 
认 知 与 AL- 一 模式 识别 .计算 机 视觉 .听觉 .特征 提取 、 语 言 翻 译 .AM、 逻 辑 推 理 、 知 识 工 
程 . 专 家 系统 、 智 能 计算 机 与 智能 机 器 人 、 故 障 诊断 ,自然 语言 处 理 等 . 


2.7.4 人 工 神 经 网 络 计算 机 


一 、 目 前 神经 网 络 计算 机 的 实现 

通用 计算 机 的 软件 仿真 模拟 :在 通用 计算 机 上 播 入 专用 的 有 电子 神经 元 电路 的 接口 板 , 再 
配 以 软件 支持 ;专用 的 神经 网 络 并 行 计 算 机 . 20 世纪 90 年 美国 的 人 工 智能 实验 室 的 希 尔 斯 等 
人 和 研制 成 功 CONNECTION-2 型 人 工 神经 网 络 计算 机 已 投 人 使 用 . 

尽管 人 们 对 于 神经 网 络 计算 机 的 研究 已 取得 相当 成 果 , 但 由 于 人 类 对 子 人 脑 的 认识 还 相 
当 粗 浅 , 对 于 建立 一 套 完 整 的 理论 体系 还 是 远 远 不 够 的 ,建立 完全 由 神经 网 络 构成 的 具有 较 高 
智能 的 计算 机 ,目前 来 说 还 为 时 过 早 . 

二 、 神 经 网 络 计算 机 的 应 用 现状 

目前 ,神经 网 络 计算 机 已 广泛 地 应 用 在 社会 生活 和 生产 实际 的 各 个 领域 . 如 自 适应 信号 处 
理 * 时 间 序 列 孤 测 ; 非 线性 信号 处 理 :组 合 优化 与 智能 控制 ;决策 与 管理 ;模式 识别 ;计算 机 视 
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党 ,听觉 ;语言 翻译 ;机 器 学 习 ; 专 家 系统 ;智能 机 器 人 ;故障 诊断 :自然 语言 理解 等 . 例如 ,计算 
机 味觉 ,计算 机 听觉. 

关于 智能 本 质 的 研究 是 自然 科学 和 哲学 的 重大 课题 之 一 . 对 于 智能 的 模拟 和 机 器 的 再 现 ， 
可 能 会 开拓 发 展 出 一 代 新 兴 产 业 . 由 于 智能 本 质 的 复杂 性 ,现代 智能 的 研究 已 超越 传统 的 学 科 
界限 - 成 为 脑 科 学 .神经 学 ,心理 学 . 认 知 科学 、 信 息 科 学 、 微 电子 学 ,乃至 数理 科学 共同 关注 的 
焦点 . 人 工 神经 网 络 的 重大 进展 有 可 能 使 包括 信息 科学 在 内 的 其 他 学 科 产生 重大 的 突破 . 展望 
人 工 神 既 网 络 的 成 功 应 用 ,人 类 智能 有 可 能 产生 一 次 新 的 飞 . 

三 \ 光 学 神经 网 络 计算 机 

21 世纪 , 随 着 人 们 探索 自然 界 和 人 类 社会 中 一 系列 非 线 性 行为 的 规律 ,对 于 高 水 平 信息 
处 理 计算 机 的 需求 日 益 增 加 . 曾 光 学 神经 网 络 计算 机 作为 能 够 模拟 人 恼 功 能 的 超 分 散 、 超 并 行 
的 新 一 代 计算 机 正 从 希望 走向 现实 . 1991 年 美国 贝尔 实验 室 公 布 了 数字 光学 计算 机 的 成 果 ， 
据 预 测 ,21 世纪 初 光学 计算 机 将 问世 . 

1 光学 计算 机 的 特点 

光学 计算 机 的 运算 速度 会 比 今天 的 超级 计算 机 快 一 千 到 一 万 倍 ; 光 在 长 蝗 离 传输 要 比 电 
子 数字 入 号 快 约 一 百倍 ;光学 元 件 功 耗 低 : 无 电磁 辐射 ,可 靠 性 强 ,保密 性 好 . 

2. 光 学 计算 机 的 研究 现状 

目前 ,光学 尿 辑 器 件 , 包 括 非 线性 光 逻 辑 器 件 和 编码 光 退 辑 器 件 . 半 导体 双 稳 态 . 光 于 存储 
器 、 光 开关 \、 面 发 光 激 光 器 . 光 / 电 寻 址 空间 光 调 制 器 等 主要 辩 件 均 已 相继 问世 . 

《1) 二 维 图 像 联想 存储 的 光学 神经 网 络 计算 机 . 1987 年 ,由 美国 加 州 工学 院 的 Psaltis D 
等 人 研制 成 功 , 主 要 用 于 图 像 的 侠 速 光 模式 识别 . 

《2)? 二 维 可 编程 光学 神经 网 络 计算 装置 . 由 美国 宾 州 的 俞 教授 领导 的 小 组 研制 成 功 ,采用 
高 分 辩 率 的 视频 监视 作为 联想 存储 器 ,用 于 不 完整 字母 的 识别 . 

《3) 混 合式 人 工 神经 网 络 计算 系统 . 1990 年 ,由 美国 卡 内 基 梅 几 大 学 的 Casasent D 等 人 提 
出 . 该 系统 是 用 数字 神经 网 络 实行 训练 和 学 习 , 用 光学 神经 网 络 进行 快速 在 线 处 理 ， 

四 、 分 子 生物 计算 机 

分 子 生 物 计 算 机 是 一 种 利用 蛋白 质 和 其 他 各 种 大 分 于 所 组 成 的 模 扳 人 脑 神 经 网 络 系统 的 
全 新 计算 机 . 1983 年 11 月 ,美国 国家 科学 基金 会 递 请 了 符 国 的 .40 多 位 专家 研讨 有 关 生 物 分 
子 计算 机 的 理论 与 实验 技术 等 问题 之 后 ,美国 .日 本 等 国都 投 太 了 大 量 的 人 力 \ 物 力 和 财力 实施 
研究 . 例如 ,日 本 从 1984 年 起 ,每 年 投入 80 亿 日 元 对 分 于 开关 、 分 子 逻 辑 进行 开发 研究 . 1990 年 ， 
东芝 公司 研制 成 功 一 种 名 叫 人 工 视 网 膜 的 分 子 传感器 . 它 有 很 强 的 图 像 信息 处 理 能 力 , 虽然 分 子 
生物 计算 机 的 问世 还 需要 一 段 相 当 长 的 时 间 , 但 是 它 的 量 终 实现 却 是 可 能 的 . 

1 分 子 生物 计算 机 的 特点 

《1) 分 子 计算 由 蛋白 质 和 它们 所 综合 的 系统 结构 实现 ， 即 不 需要 像 数 字 计 算 机 那样 编程 

(2) 分 子 活动 的 大 规模 并 行 特 性 可 以 提高 计算 效率 , 故 比 电子 开关 慢 五 个 量 级 的 单 分 于 速 
度 也 不 会 影响 整体 的 运算 效率 ; 

《3) 分 子 的 计算 形式 属于 一 种 基质 感触 识别 ,因此 它 依照 几何 方法 可 以 实现 与 上 下 文 有 关 
的 自 适应 信号 输入 , 面 无 需 一 位 一 位 的 串 行 处 理 . 

2. 分 子 生 物 计算 机 的 实现 初探 

分 子 生物 计算 机 是 受 当 和 计算 机 的 启发 ,从 分 子 电子 线路 设计 与 造型 出 发 ,形成 一 个 体积 
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小 、 速 度 快 ,存储 量 大 的 数字 分 子 计算 机 . 包括 分 子 开关 ,分 子 罗 辑 和 分 子 局 部 装配 等 的 研究 . 

分 子 生物 计算 机 是 模仿 生物 的 医 僚 信息 处 理 功能 , 即 快 速 的 识别 、 自 组 织 和 自学 习 能 力 的 
感触 式 分 子 计算 机 . 包括 感 扰 识 别 的 基本 模式 、 模 拟 感触 处 理 功能 的 斤 种 支 捧 技 术 以 及 辣 现 代 
计算 机 相互 结合 的 研究 . 例如 ,将 生物 分 子 处 理 器 作为 数字 计算 机 的 预 处 理 感觉 装置 ,即将 每 
个 生物 分 子 处 理 器 做 成 不 同 分 辨 率 的 探测 器 阵列 ,应 用 分 子 感 触 式 处 理 方法 快速 完成 输入 信 
号 的 特征 扒 识 ,然后 再 进行 更 高 层次 的 运算 * 这 种 结构 称 之 为 生物 分 子 预 处 理 结构 . 再 如 ,分 子 
自 适 应 存储 结构 ,利用 神经 元 间 的 连接 和 切换 原理 可 以 模仿 大 脑 的 自 适 应 记忆 存储 /检索 功 
能 . 
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第 三 章 ”前 会 型 神经 网 络 


许多 科学 家 通过 大 量 的 观察 和 研究 ,认为 人 脑 的 认识 过 程 不 仅 是 按 高 度 并 行 的 网 络 结构 
进行 ,而 且 其 神经 系统 还 是 一 个 分 层 结构 . 由 低层 网 络 把 处 理 后 的 信号 提供 给 高 康 次 的 网 络 汇 
总 选择 . 经 简化 .抽象 后 的 阶层 网 络 结构 参见 图 2. 14(a). 前 合 带 (feedforward type) 网 络 是 由 
输 人 层 , 若 干 中 间 层 (隐藏 层 ) 和 输出 层 构成 , 层 内 各 单元 间 无 连接 , 层 间 的 连接 是 由 输 人 层 经 
中 间 层 至 输出 层 . 信和 号 一 个 方向 流动 . 前 馈 型 网 络 为 无 反馈 有 教师 信号 的 网 络 , 又 称 为 阶层 网 
络 (Layered network). 本 章 将 介绍 几 种 典型 的 前 馈 型 网 络 的 结构 特点 .功能 及 算法 . 


383.1 感知 器 


感知 器 (Perception) 是 由 美国 学 者 Rosenblatt F 于 1957 年 提出 的 一 个 具有 单 度 计 算 单元 
的 神经 网 络 . 它 在 识别 印 咕 体 字符 方面 表现 出 了 良好 的 性 能 ,引起 人 们 很 大 的 兴趣 . 后 来 许多 
改进 型 的 感知 器 在 文字 识别 .语音 识别 等 应 用 领域 取得 了 进展 ,使 得 早期 的 神经 网 络 的 研究 达 
到 了 高 潮 . 

感知 器 的 输 人 可 以 是 非 离散 量 , 它 的 权 向 量 不 仅 是 非 离散 量 ,而 且 可 以 学 习 调整 , 感知 器 
是 一 个 线性 值 单元 组 成 的 网 络 , 可 以 对 输 人 样本 进行 分 类 , 面 且 允 层 感知 器 ,在 某 些 样本 点 
上 对 函数 进行 逼近 ,虽然 在 分 类 和 逼近 的 精度 上 都 不 及 非 线性 单元 组 成 的 网 络 ,但 是 可 以 对 其 
他 网 络 的 分 析 提 供 恢 据 - 


3.1.1 单 记 感 知 器 


一 、 单 层 感知 器 网 络 
图 3. 1 为 一 单 层 感知 器 神经 网 络 , 输 人 向 量 为 太一 (Xi ,和 ，…，,X) ,输出 向 量 为 了 一 (Pi， 
Za，…，Yn). 最 简单 的 感知 器 仅 有 一 个 神经 元 , 见 图 3. 2. 
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图 3.1 单 层 感 知 器 网 络 图 3.2 最 简单 的 感知 器 


第 三 章节 人 局 型 神经 网 络 ”33。 











单 结 点 感知 器 的 输入 向 量 为 8E R", 权 值 向 量 为 钱 ER* ,单元 的 输出 为 YE { 一 1:1). 其 
中 。 
Y= (ZXWi 人)= FTWT 一 久 一 关于 TD) 《3.1. 1)》 
其 中 , 妹 一 ( 辕 ,一 1), 古 ' 一 ( 环 ,9)， 
一 sgn《 天 儿 ) 一 1 到 0 《3.27 
> -二 HT <0 
与 M-P 模型 不 同 的 是 , 权 值 三 可 以 通过 学 习 训练 而 加 以 改变 ， 
二 、. 单 层 感 知 器 的 学 习 算 法 
令 印 一 9Xt 一 一 1, 则 
加 
Y= 二 之 居多) (3.1.3) 


具体 算法 如 下 : 
《1 初始 化 . 给 对 ,50) 各 赋 一 个 较 小 的 随机 非 零 值 . 这 里 网 ( 纪 为 上 时 刻 第 ; 个 输入 的 权 值 


《1s; 科 四， 厂 or: (9 为 上 时 刻 的 阔 值 . 
(2)? 输 入 样本 . X 一 (XXX ，…Xo,T),T 称 为 教师 信号 ,在 两 类 样本 分 类 中 ,如 果 大 EA 


类 , 则 了 =1; 如 果 XEB 类 , 则 了 T 一 一 1. 





《3 计算 实际 输出 ， 
如 
TCD = F(27X:CD) 《3.1. 4 
名 
《全 修正 权 值 ， 
本 全 十 一 到 人 0 十 歌 了 一 区 而， 一 《1 2hwrp 十 功 53. 二 呈 





其 中 ,0<YsS1, 用 于 控制 修正 速度 ,通常 不 能 太 大 ,否则 会 影响 允 ;( 切 的 稳定 ,也 不 能 太 小 , 太 
涉 会 使 配 .( 对 的 收 敏 速度 太 慢 . 
(5) 转 到 (2) ,直到 儿 对 一 切 样本 均 箱 定 不 变 为 止 . 
用 单 层 感知 器 可 实现 部 分 逮 辑 函 数 , 如 ， 
和 AR YY 一 1 和 1 了 一 2 即 多 一 多 一 10 一 2 
YX YY 一 1 国 十 1.Xz 一 05 即 克 一 允 * 一 19 一 0.5 
台 ， 了 一 〈 一 1 和 十 0.5 即 琴 : 一 一 310 一 一 0.5 
三 . 单 层 感知 器 的 局 限 性 
1969 年 Minsky 和 Papert 出 版 了 Perception 一 书 , 他 们 从 数学 上 分 析 了 以 单 层 感知 器 为 
代表 的 人 工 神经 网 络 系统 的 功能 和 局 限 性 ,指出 单 层 感知 器 仅 能 解决 一 阶 调 词 远 辑 和 线性 分 
类 问题 ,不 能 解决 高 阶 谓词 和 非 线性 分 类 问题 , 为 解决 高 阶 谓词 和 非 线性 分 类 问题 ,必须 引 人 
含有 隐 层 单元 的 多 层 感 知 器 . 他 们 举 出 了 异 或 (XOR) 问 题 不 能 使 用 单 层 感知 器 来 解决 . 异 或 
如 辑 ( 见 表 3. 1) 为 六 和: YX Xz ,假定 单 层 感知 器 能 实现 蜡 或 多 辑 ,那么 ,了 一 多 ,7 十 W:X 一 
9 要 求 : 
歼 : 十 允 。 一 2<0 一 克 : 十 古 :一 有 
0+T0 一 0<0 一 0<8 
歼 : 十 0 一 9 之 0 一 Wi P0 
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0 十 克 : 一 9 之 0 一 克之 0 
表 3.1 异 或 去 辑 
输 人 样本 输出 











和 
ob hn e 








显然 上 述 方程 组 无 解 , 即 感知 器 不 能 解决 异 或 问题 . 下 面 从 几何 图 形 来 说 明和 三 知 器 的 分 类 问 
题 . 异 或 问题 的 几何 意义 可 看 做 是 笛 卡 儿 平面 上 的 一 个 正方 形 ,其 顶点 坐标 分 别 为 (0;07、(1,0)、 
《0,1D 11)- 如 图 3. 3(a) 所 示 ,不 存在 一 条 直线 能 将 允 XOR 和 一 1 与 六 XOR :一 0 的 点 分 
开 , 但 是 从 图 3,3(b) 和 3, 3(c) 可 以 看 出 ,对 于 AND 和 OR 逻辑 很 容易 找到 一 条 直线 将 两 类 输 
出 分 在 直线 的 两 侧 . 


《0.1 01) 《0.) 4.D 《0.0 











《0.0) 1 ”0.0 10 ”00.0) 
(00 《LO) 


(a)JXOR 远 加 (boAND 训 辑 《oO)OR 逻 钳 
国 3.3 线性 可 分 性 
312 感知 器 的 收 伍 定 理 


一 、 线 性 可 分 函数 
对 给 定 的 尺 和 了 , 若 存在 驳 ,9 和 线性 映像 函数 了 ,使 得 
Re 一 11 一 1) ,和 ER 
则 称 7 为 线性 可 分 函数 . 
所 谓 的 线性 可 分 是 指 存 在 一 个 超 平面 (二 维 为 一 条 直线 7 能 将 现 类 样本 分 开 . 
对 于 上 面 的 异 或 逮 辑 可 用 一 个 平面 将 其 输出 类 别 分 开 . 平面 方程 为 
人 1 开 十 和 克 :十 XeWa 一 9 
XiWi 十 sWs 十 (XI A Xz)Wa 一 和 
其 输入 输出 关系 , 见 表 3. 2. 
表 3.23 三 维 异 或 过 辑 
输入 样本 输出 
000 








010 
100 
11l 


人 内 表 3. 2 可 以 看 出 前 两 维 为 异 或 ,后 一 维 是 前 两 维 的 “与 ” 图 3. 4 给 出 了 其 三 维 表示 . 


-nr- ao 
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(0,0.0) 


图 3. 4 异 或 问题 的 三 维 天 示 
二 、 感 知 器 收 赦 定 理 
定理 3.1 车 函数 /是 线性 可 分 的 , 则 感知 器 的 学 习 算 法 在 有 限 次 要 代 后 收敛. 为 证 明 此 
定理 , 先 做 一 些 简化 : 
《1 令 | 和 下 一 15 即 学 习 样本 都 是 单位 向 量 ); 
(2)7 若 P<0, 则 用 一 和 代替 夺 , 因 而 对 所 有 的 &, 都 有 Ts>>0( 因 了 是 线性 可 分 的 )， 
这 样 ,要 证 明 上 上 述 定理 只 要 证 明 以 下 的 结论 即 可 - 
因为 天 个 样本 是 线性 可 分 的 , 若 存在 一 个 多 " ,对 所 有 的 样本 大 使 得 多" 。 嫩 >>8 都 成 立 ， 
9>0,. 则 下 面 步 骤 中 的 第 图 步 仅 需 有 限 次 . 
二 置 :一 1 , 选 初 值 色 ( 轨 为 不 等 于 0 的 值 ， 
罗 任 选 &E {1,N) , 置 瑟 (一 Xe 
图 若 印 ( 芒 ，X(o)20 返回 四 ,否则 
图 令 Wtt 十 1) 一 研 ( 菩 十 时 (一 上 十 1 返回 轩 . 
证 明 CC 所 表示 向 量 三 ( 鸭 与 多 间 卖 角 余 蓄 , 即 
Co 一 2 全 (3.1.6) 
狠 "” 到 人 十 1) 一 却 '[WY 人 十 其 (一 古 ( 扩 十 到: X(D 2 人 于 ( 扩 十 人 
所 以 

















克之 好 


IC 二 TD 一 Wi 十 2 的 。 必 (区 十 是 区 2 < WCGo 2 十 
所 以 


从 
WOD 1 < 晤 CD > 
| 


此 
因为 C(D<0, 所 以 ! 疏 南 为 一 有 限 数 ， 
证 毕 . 
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3.1.3 多 层 感知 器 网 络 


一 、 多 层 感 如 器 网 络 
一 个 有 两 个 隐 层 感知 器 的 结构 见 图 3,5(b) 所 示 , 其 中 输入 层 有 = 个 节点 ;第 一 隐 层 有 症 
个 节点 ,第 二 隐 层 有 zz 个 节点 ,各 层 节点 的 输出 为 : 





好 一 AZW 和 一 入)， 于 一 1 ;2 (3.1.7) 
台 

如 一 AZWe 一 外 )， 了 一 1 20rme C3.1 8) 
Ji 
径 1 net 之 0 

3 一 上 一 一 一 3.1.9 

殉 总 W 下 一 9 一 AneD 人 : at 二 0 (3.1.97 





(a) 一 个 陷 层 的 感知 器 (两 个 稳 层 的 感知 跨 


国 3.5 多 层 感知 器 网 络 
二 、 多 层 感 知 器 的 分 类 决策 能 力 
对 于 多 层 感 知 器 网 络 , 有 以 下 定理 
定理 3.2 假定 隐 层 的 节点 可 以 根据 需要 自由 设置 ,那么 用 三 层 的 阐 值 网 络 可 以 实现 任 
意 的 二 值 开 辑 函数 . 
首先 ,讨论 一 个 隐 层 的 情况 ,图 3. 5(a) 中 输出 层 节点 的 输出 为 : 


mw - 切 -0) 《3.1.10》 

此 时 隐 层 与 = 个 输 人 节点 的 关系 如 同 单 层 感知 器 -- 样 ,可 以 形成 由 个 ” 维 空间 的 超 平面 

把 二 维 输 人 空间 分 成 一 些小 的 于 空间 . 例如 ,nm 一 2,mm 一 3 的 情况 下 , 隐 层 第 了 个 节点 的 输 
辆 为 

于 一 Amwi 成一)， 了 一 (1:2,37 《3.1.11) 


二 
可 以 在 二 维 输 人 空间 上 决定 三 条 直线 ,因为 各 自 的 环 ; 和 及 不 网 ,三 条 直线 的 截 距 和 斜率 
各 不 相同 ,如 图 3. 6(a) 所 示 ,就 可 以 找到 一 个 区 域 使 其 内 为 A 类 ,之 外 为 另类 ,用 这 三 个 
隐 单 元 所 得 到 的 一 个 封闭 区 域 就 可 满足 条 件 . 从 隐 单 元 到 输出 层 只 要 满足 下 式 即 可 得 到 
正确 划分 - 
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环 一 (CRa)[CW - 十 惠 1 Xe 一 交 >>0m(Wa 和 十 Was 2 一 2 0 
站 《 责 3 和 十 页， 和 一 轴 ) >> 0]) 《3.1.12? 
十 分 明明 , 隐 节 点 到 输出 节点 之 间 为 “与 ?关系 .对 于 图 3. 6(b) ,可 以 采用 有 两 个 败 层 的 感 
知 器 来 实现 ,其 中 第 二 隐 层 节点 到 输出 层 节点 为 “或 "关系 , 即 满足 下 式 即 可 ， 


于 一 (CsXOC UY]) 一 (GD[CD Cs 和 十 Wo 和 一 的 0 





4 
UCn CCWu “Xi 十 到 Xe 一 8)>09) 外 《3.1. 13) 


@ | - 故 


2 








(a) 人 


疼 3.6 多 层 感 知 器 对 输入 空间 的 划分 
图 3. 7 为 一 个 解决 异 或 问题 的 三 层 感 知 器 网 络 , 求 得 的 权 值 及 节 
点 输入 输 出 关系 见 下 式 . 凡 
于 一 1.X 十 1。Xo 一 上 1 
到 《一 1) *。 已 十 (一 1)。Xs 一 《一 1.5) 
到 一 1. 玖 二 1- 中 一 2 
三 层 感知 器 可 以 识别 任 一 西 多 边 形 或 无 界 的 凸 区 域 . 因为 第 一 层 可 以 
分 开 两 个 半 平 面 ,第 二 层 单元 对 第 一 层 单元 的 输出 作 丈 辑 与 运算 , 则 它 古国 
的 输出 即 为 多 个 半 平 面 的 交集 构 或 的 凸 多 边 形 . 更 多 层 可 以 实现 更 为 图 3.7 解决 异 或 问题 
复杂 的 分 类 , 见 图 3. 8. 的 三 层 感 知 器 
结构 复杂 区 域 分 类 」】 一 般 判别 域 形 状 


全 
受 









































图 3.8 单 展 与 多 层 感 知 器 的 决策 分 类 能 力 
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从 本 节 讨 论 中 可 知 , 对 于 单 层 感知 器 仅 能 解决 线性 可 分 问题 ,二 维 输入 向 量 可 以 确定 一 条 
直线 ,三 维 输入 向 量 可 以 确定 一 个 平面 ,多 维 输 和 人 向 量 可 以 确定 一 个 超 平面 将 两 类 分 开 . 多 层 
感知 器 可 以 解决 线性 不 可 分 的 问题 * 二 维 输 人 向 量 可 以 确 定 一 个 或 几 个 凸 .四 多 边 形 ,三 维 输 
人 向 量 可 以 确定 一 个 或 几 个 凸 , 四 立方 体 , 多 维 输入 向 量 可 以 确定 一 个 或 几 个 起 凸 、 四 立方 体 
将 两 类 分 开 - 对 于 多 层 感知 器 的 学 习 训 练 , 聊 层 和 由 层 间 以 及 隐 层 和 输出 层 间 依据 “与 “或 ” 
的 关系 来 确定 权 值 和 阔 值 . 


3.1.4 感知 器 用 于 分 类 问题 的 算 例 
感知 器 的 结构 见 图 3.8 所 示 . 其 中 ,一 丽 ;X 十 砚 :X ,在 此 特 选 定 输 册 单元 为 非 线性 函 
























数 ,其 输出 为 ， ， 
Y= Fo = 过 二 C3.1.14) ， 加 
输入 模式 为 ; 
(0.5,0. 05)、(0.05,0.5) 一 A 类 
(0. 95,0. 5) (0. 5,0. 95)-* 也 类 各 和 
教师 信号 为 : 图 3.9 感知 器 结构 
分 类 人 
人 分 类 B 
感知 器 的 训练 学 习 过 程 为 不 断 地 调节 了 凤 和 8 二 
的 过 程 ,使 得 输出 Y 和 教师 信和 叶 T 的 误 善 小 于 规定 和 9 用 随机 数 梓 始 化 
的 上 限 值 , 即 告 结束 . > 和 


输入 一 个 学 习 样本 (X, 刀 





at 十 1 一 歼 :b 十 eCT 一 六 2 

















Wet 十 1) 一 厂 :( 切 十 CT 一 YX 计算 7 
8 二 1) 一 红 芒 十 RCIT 一 Y 下 
总 的 误差 之 和 为 。 更 新 Wi4 













FE= 立 1-Y1 《3.1.15》 
模拟 实现 的 程序 框图 见 图 3. 10. 败 3. 3(a) 和 


(pb) 分 别 为 程序 的 输入 参数 和 对 于 四 个 样本 的 输出 工 
结果 ,图 3. 11(a) 为 学 习 次 数 和 误差 关系 曲线 ,(b》 
雪 示 从 初始 状态 :一 0) 到 学 习 次 数 每 增加 50 次 时 ， 一 志 N 


分 开 A 类 和 了 类 的 直线 的 变化 情况 , 随 着 学 习 的 进 
行 ,和 逐 央 下 近 通 过 (1,0) 和 (0,1) 的 直线 ,学 习 终了 
图 3.10 程序 框图 






时 :W) 一 一 0.97 ,多 :一 0.97,0 一 0. 97 ,直线 为 :页 , 入 
十 机 :X: 十 9 一 0. 
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表 3.3 (9) 表 3.3 [b) 
一 一 一 一 -一 
参 数 取 人 四 加 工 
多 随机 范围 0.20 ,50 0-05 99 
8 随机 范围 o 10 0.05 0.50 0.99 
0 2 和 95 0.50 0.01 
“ 0 0 0.50 0.95 0.01 
及 0.、30 
误 萤 上 限 0.0 
最 大 学 习 次 数 200 
庶 郑 (0 一， 《1.07 
上 
名 
而 
书 
0 《0 《1 
0 学 习 次 数 200 忆 
(9) 误 差 虹 线 由 ) 直 线 变化 情况 
图 3.J1 


83.2 多 层 前 馈 型 神经 网 络 


3.2.1 网 络 结构 及 工作 过 程 


前 馈 型 (feedferward type) 神经 网 络 主要 实现 非 线性 映 
射 功能 ,还 具有 推广 与 概括 能 力 , 即 当 输入 模式 不 是 学 习 样 本 
有 时, 网络 也 能 给 出 与 该 输入 最 接近 的 输入 样本 对 应 的 期 望 输 
出 . 

一 、 学 习 样 本 

输入 样本 为 :(Xk ,Ta) ,其 中 天 11,2，…，N) ，N 为 学 习 
样本 数 , Xx ER"yTk 所 有， 

二 .工作 过 程 

有 两 个 隐 层 的 网 络 结构 见 图 3. 12 所 示 , 将 学 习 样 本 (Xe， 
Tx) 送 和 输入 层 , 输 入 层 不 艇 任何 处 理 而 以 全 互联 的 方式 传 
给 第 一 隆 岩 ,第 一 兆 层 对 输入 信号 经 加 权 求 利 后 ,依据 转移 函 








各 蕊 
园 3. 12 ”前 饥 型 神 返 网 络 结 梅 


0 计 算 智 能 








数 进行 处 理 , 其 输出 又 以 全 互联 的 方式 传 给 第 二 隐 层 ,直至 输出 层 输出 向 量 办 ,其 中 ,号 ER". 


到 玫 ( 己 w。 “到 一 20) 


三 \ 非 线性 单元 常 采用 的 转移 函数 
神经 元 的 转移 落 数 用 得 最 多 的 是 Sigmoid 落 数 和 双 曲 正切 聊 数 ,它们 的 函数 形状 见 图 3. 


13 所 示 . 








(a)Sigmoid 邓 数 (b) 双 曲 正 切 函 数 
图 3.143 常用 的 转移 函数 


Sigmoid 函数 的 表达 式 为 : 
有 1 
7 THE 
通常 用 增加 参数 * 和 8 来 调整 函数 的 斜率 和 使 其 左右 平移 ， 


= -~ 1 
8 下 PC 一 D 人 2 


Sigmceid 函数 为 一 单调 递增 连续 函数 , 且 处 处 可 导 , 其 导数 为 ， 


(< Faz<1T) 《3. 2. 17 














PCz) 一 JCz)KI 一 cz)》 《3.2.3) 
Sigmoid 函数 通过 下 式 能 够 映射 到 (一 1,1) 范 有 
Fa = 计 一 1 《3.2.4) 
ka = 去 一 FaD)CGL+AGz)) 《3.2.5) 
双 曲 正切 函数 的 表达 式 为 ; 
Cr) = tanh(z) 一 生 < (1< Fe <D (3.2.6) 
通常 用 增加 参数 和 4 来 调整 亢 数 的 斜率 和 使 其 左右 平移 ， 
Cr = 1 expC 一 acz 一 的 ?7 《3.2.7) 


1 十 expCcez 一 扩 ) 
General Motors 研究 室 的 Surender K Kenue 提出 了 一 种 比 上 述 两 种 函数 收 俩 速度 锯 的 一 组 
转移 函数 及 其 导数 , 见 表 3.4 所 示 。 
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家 3,4 新 的 转移 示 数 极其 导数 

















新 的 转移 函数 一 愉 导 数 
2 、 2 
1 | AD= 全 arelan(simh(z 表 ( 本 一 二 sech( 林 
2 户 (z 一 tanh(z7 Kx 一 sech2z (和 7) 
3| 瑟 全 [ +eeangenh(e)] 六 CD 一 二 seciekz 
和 ee 二 ee 罗 <] 护 cD 一 问 sech CD 
、 让 16 
5 | Fa- 辫 E 2 全 二 sareuan(sinh(z) 一 2 2 人 并 CD= 划 sechez 
6 AD- 量 [na 一 2 人 二] 拓 (= 意 sechsczy 








3.2.2 误差 函数 与 误差 曲面 


一 误差 画 数 
误差 函数 :EC(WD) 一 CACW, 筷 ,于 )) 必 一 1,2,…,N, 已 称 为 误差 ( 洞 度 ) 函 数 ,部 网 络 的 实 
际 输出 向 量 ,与 教师 信号 向 量 fr, 的 误差 用 误差 函数 来 判别 , 常 采用 二 乘 误差 画 数 加 以 判别 ， 
其 中 ,N 为 输入 样本 的 个 数 ,mm 为 输出 向 量 的 维 数 . 
关 提 
匹 一 二 袜 忆 一 去 袜 人 1 一 也 时 一 于 袜 六 or 一 Te (3.2.8) 
辫 后 


it 








一 、 了 映射 

对 于 给 定 的 一 组 数据 ( 妃 ,)C 一 1,2,…,) ,网 络 一 组 特定 的 权 值 泵 实现 一 定 精度 的 
映射 - 训练 的 目的 是 希望 得 到 的 权 信 能 产生 最 小 的 误差 和 最 好 的 精度 - 

把 从 {2)}CR" 到 {Y)CRr 的 映射 记 为 ， 

FM CR 一 TCR 

三 .误差 曲面 

误差 曲面 : 若 隆 层 与 输出 层 间 的 权 值 数 记 为 m, * z* 对 于 给 定 的 训练 样本 (了 ,下 ) ,网 络 
权 矢 量 允 ( 克 ， 厂 。，, 克 。。 ) 通 过 误差 画 数 所 计算 出 来 的 映射 误差 所 描绘 出 的 曲面 . 误 益 曲 
面 可 用 (mm * 各 十 1) 维 空间 来 找 述 , 即 是 (mm * 亚 十 1) 空 间 的 一 个 曲面 . 不 同 的 BCW) 有 不 同 的 
误差 曲面 形状 . 

网 络 学 习 : 是 指 按 照 某 种 学 习 规 则 选取 新 的 丈 ' ,使 得 E(W ) 扫 瑟 GYY) ,对 于 误差 曲面 上 的 
点 忆 (W) 总 是 向 山下 移动 ,最 终 移 到 最 深 的 谷底 (全 局 最 小 ). 若 曲面 有 多 个 谷底 ,移动 的 过 程 
可 能 陷 和 人 局 部 极 小 . 

移动 步 长 :也 称 学 习 率 , 步 长 小 移动 轨迹 较 平滑 、 慢 、 易 陷 人 局 部 极 小 ; 步 长 大 , 违 度 快 ,可 
能 味 过 局 部 极 小 ,也 可 能 跳 过 全 局 最 小 点 ,也 易 产生 振 落 . 一 般 情 况 下 ,开始 时 步 长 大 ,后 期 步 
长 小 . 

梯度 下 降 算法 :如 果 移 动 是 在 误差 曲面 最 陡 的 方向 或 梯度 下 降 的 方向 进行 ,这 样 下 山 的 速 
度 快 , 称 作 最 速 梯度 下 降 法 
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3.2.3 网 络 的 学 习 规则 一 一 梯度 下 降 算 法 
权 值 的 修正 量 取 误 差 函 数 ECGHW)7 对 克 的 负 梯 度 , 即 : 





WCG 二 DTD 一 印 ( 十 ANY( 《3.2. 9 
GD 一 一 《3.2.10》 


设 有 六 个 学 习 样本 (和 TD) 一 12,…，N) ,对 于 某 个 于 网 络 输出 为 Yi ,节点 庆 的 输出 
为 Ya ,tf 和 7 的 连接 权 值 为 Wv ,节点 地 的 输 人 加 权 和 为 : 


netx 一 > 有 vs 《3.2.11) 
误差 函数 使 用 二 乘 误 差 函 数 : 

闪 
已 一 去 并 一 业 《3.2.12) 

所 
下 一 1‖ 歼 一 思 本 一 >(CTa 一 Ya (3. 2. 13) 

和 泉 
定义 : 

吕 一 了 53.2.14) 
Ou 一 Fnetbs) 《3. 2. 15) 


3E， 3aE，aneta 3 已 
5 而， jnete 3， 3nets 


《1) 当 1 为 输出 节点 时 ， 








Qa 一 5Du 《3.2. 16) 





Ox 一 三 
BE ayrae _ 
呈现 2 一 et 《3.2. 17) 


《2) 若 /7 不 是 输出 节点 时 ,有 : 
aE，_ 3E，a0Ox。 _ 3E 























Cs 一 5 5D。5netr 5 《netx》 〈3.2. 18) 
a( WanOx ) 
3 已 3E， anets FE 7 
3Ox 之 anete 3Ox 之 anetw 3aDux Zr 2 19) 
到 一 万 (nete) > ws 肥 (3. 2. 20) 
因而 对 权 值 的 修正 为 : 
AN 内 
WoGtTD 一 多 人 介 一 ?7 补 沽 一 Wo 人 一 ?> ou0。 《3.2.21) 
人 3 丽 * [| 


83.3 误差 递 传播 算法 (BP 算法 ) 


1985 年 ,Rumelhart，Hinton 和 Williams 提出 了 用 于 前 向 神经 网 络 学 习 训练 的 误差 递 伟 
播 算法 (Back Propagation, 简 称 BP 算法 ) ,成功 地 解决 了 上 多 层 网 络 中 隐 含 层 神 弘 元 连接 权 值 
的 学 习 问 题 . 
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3.3-1 BP 算法 的 数学 描述 


BP 算法 是 有 教师 指导 的 ,适合 于 多 层 神经 网 络 的 学 习 训 练 ,是 建立 在 梯度 下 降 算 法 基础 
上 的 , 主要 思想 是 把 学 习 过程 分 为 两 个 阶段 ,第 一 阶段 (信号 正 向 传播 过 程 ), 输 和 人 信号 通过 输 
人 层 经 隐 层 逐 层 处 理 并 计算 每 个 节点 的 实际 输出 值 ;第 二 阶段 (误差 修正 到 向 传播 过 程 ), 若 在 
输出 层 未 得 到 期 望 的 输出 值 , 则 逐 层 递归 地 计算 实际 输出 与 期 望 输出 之 间 的 误差 ,并 依据 此 误 
差 来 修正 权 值 - 

在 学 习 过 程 中 ,对 于 每 一 个 输入 样本 逐次 修正 权 值 向 
晨 ,者 有 六 个 输 和 人 祥 本 ,那么 ,一 次 学 习 过 程 将 对 权 值 向 
是 修正 共 次 ,这 种 逐次 不 断 修 正 权 值 向 量 的 方法 称 之 为 
逐次 修正 法 ， 

一 、 确 定 和 选择 网 络 结构 

包括 确定 输入 层 和 输出 层 的 节点 数 ,选择 隐 层 数 和 各 
隐 层 内 的 节点 数 - 确定 节点 的 转移 函数 ,误差 函数 类 型 和 
选择 各 个 可 调 参数 值 . 

基于 BP 算法 的 一 个 三 居 前 向 神经 网 络 的 结构 见 
3. 14 所 示 ， 

图 中 :于 为 输入 层 节点 的 输出 ;23 为 中 间 层 节点 7 的 输出 :73 为 输出 层 节点 大 的 输出 ; 
T 为 输出 层 节点 冯 对 应 的 教师 信号 ;Ws 为 节点 ; 和 节点 7 间 的 连接 权 值 ;WAx 为 节点 了 和 节点 
& 间 的 连接 权 值 :6 为 中 间 必 节点 ; 的 阔 值 ;b: 为 输出 层 节 点 上 的 盖 值 . 

神经 元 的 转移 函数 选择 为 Sigmeoid 函数 。 


_ 1 
Fa = TD (3.3.1) 


Fn 一 之 /CDG 一 Ca)) (3.3.2) 
5 














图 3.14 一 个 三 层 的 前 向 神经 网 络 





误差 函数 为 平方 误差 函数 ， 
一 E= 亏 立 由 于 一 玛 《3.3.3)》 


后 
二 、 初 始 化 
〈B 设 定 学 习 次 数 :一 0, 对 网 络 权 值 和 阔 值 赋 于 小 的 随机 数 ,Wy ( 世 E [一 1,1],Wax (6 所 
[一 1, 芋 ,6 (9 生 [ 一 1,I],2 GE 生 [一 1,1]， 
1. 前 向 计算 
(2) 输 和 一 个 学 习 样本 (2 ,Ti ) ,其 中 &E (1,2,…，N),N 为 样本 数 ,XeERn",T ERn. 
《3) 计 算 隐 层 各 节点 的 输出 值 , 


中 = ADwon 一 0 HA( 袜 woxs 一 6)， 了 GE 112， 《3.3. 全 


| 


《4) 计 算 输 出 层 节点 的 输出 :- 


一 /m 双 一 9)， 大 E 11,2，a) (3.3.5) 
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2. 着 向 误差 修正 计算 
(5) 输 出 层 节点 误差 的 计算 : 
友 一 一 (下 一 好) 了 人 一 到 )， 


四 


下 E 《2 
《3. 3. 6) 


《6)? 贩 节点 误差 的 计算 : 
8 一 好 QG 一 殉 它 am 


《7) 用 (5? 求 出 的 误差 修正 量 全 来 修正 输出 层 和 由 
层 间 连接 权 值 矩 阵 Wx* 和 阅 值 向 量 94. 例如 对 节点 到 和 
陷 层 7 的 连接 权 值 Wx* 和 节点 的 阔 值 的 修正 为 ， 
人 十 1 一 至 aiD 革 SeZ? 《3. 3. 8) 
秋 G 二 1) 一色 CD 十 B (3.3.9) 
《8? 用 (6) 求 出 的 误差 修正 量 多 来 修正 路 层 和 输入 
层 问 连接 权 值 矩阵 灵 s 和 靖 值 向 量 6;. 例如 路 层 计 和 输 
人 居 节 点 ;i 的 连接 权 值 厂 , 和 节点 7 的 阔 值 的 修正 为 ， 
Fr G 二 1 一 了 十 0 《3. 3. 10) 
8 二 1) 一 bi 十 Bi 《3, 3, 11) 
《9 如 果 全 部 学 习 样 本 未 取 完 , 则 返回 (2) ,否则 ， 
(19) 计 算 误 善本 数 区 ,并 判断 马 是 否 小 于 规定 的 误 盖 
上 限 , 如 果 互 小 于 误差 上 限 , 则 算法 结束 ;否则 ,如 果 学 习 
次 数 到 , 则 算法 结束 ;否则 更 新 学 习 次 数 :一 上 十 1 ,返回 (2). 
算法 的 流程 见 图 3. 15. 
上 面 的 算法 针对 每 个 输入 样本 进行 一 次 权 人 和 效 值 
的 修正 ,而 一 播 修正 法 对 每 个 输入 样本 都 计算 修正 量 ,对 
权 什 修正 最 逐次 累加 , 仅 当 全 部 学 习 样 本 学 习 结 束 后 才 
真正 地 修正 权 值 和 盖 值 ,被 称 为 批 处 理 的 修正 方法 . 一 括 
修正 法 可 以 减少 修正 次 数 ,因而 可 以 缩短 学 习 时 间 ,但 


《3. 3.7》 


















和 8 的 韧 始 化 






取 一 学 习 样 本 作为 维 入 信号 


中 癌 层 节点 输出 的 计算 








输出 层 节点 输出 的 计算 








下 
输出 层 节点 误 善 的 计算 





中 间 尾 节点 误差 的 计 等 





中 间 层 和 和 输出 野 间 权 值 的 
更 新 输出 层 节 点 砚 值 更 新 








输入 层 和 中 间 层 间 积 值 的 
更 新 ,中 间 晨 节点 装 值 更 新 


= 一介 部 学 习 样本 取 完 了 吗 7 
了 























图 3.15 BP 算 法 程 席 流程 图 


| 





是 由 于 修正 量 被 平均 化 ,不 能 进行 细微 的 修正 . 对 于 一 
些 复杂 问题 ,特别 是 当 学 习 样 本 数 多 的 时 候 可 能 得 不 到 
好 的 效果 . 

一 括 修 正法 对 图 3. 15 的 变更 部 分 见 图 3. 16 所 示 . 

使 用 Memond 法 修正 权 值 向 量 和 一 值 向 量 时 ,要 考 
处 到 前 一 次 修正 量 . 如 果 (t: 一 1) 时 刻 的 修正 量 为 AW 人 
一 切 守 时 刻 计 算 的 修正 量 为 AW(t), 设 Memond 系数 
为 下 , 则 Memond 法 对 权 值 的 修正 量 为 ， 

AWG 二 1》 一 AGO 十 maAWG 一 1) 
(3. 3. 12) 

当 上 时 刻 计 算 的 修正 量 为 A 太 Ci 和 Memond 项 

4 页 (一 1) 符 号 相 异 时 能 使 本 次 的 修正 量 A 厂 (2 值 变 








修正 值 缓存 区 初始 化 









对 每 个 学 习 样 本 计算 误差 


修正 值 缓存 区 更 新 


全 部 学 习 样本 取 完 了 吗 ? 


权 入 和 网 值 的 更 新 


























3.16 一 括 修正 部 分 程序 流程 图 
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小 , 即 能 抑制 振 葛 , 因而 能 加 快 学 习 过 程 , 为 使 本 次 修正 量 更 接近 于 前 一 次 的 修正 方向 ,应 该 使 


Memond 系数 不 断 增加 , 禾 改 其 修正 量 为 : 


AR 人 十 1) 一 A 隐 (人 十 到 (办 AWCG 一 1) 《3. 3. 13) 
TD 芒 一 Am 十 met 一 ]) 《3. 3. 14) 
各 种 误差 修正 方法 在 学 习 过程 中 的 误差 曲线 和 学 习 次 数 见 图 3. 17 所 示 . Sigmoid 函数 参 


数 zw 和 学 习 次 数 的 关系 见 表 3. 5- 
表 3.5 Sigmoid 西数 参数 m 对 算法 学 习 次 数 的 影 瑰 





































和 参数 mm Memond 法 种 一 0. 乡 亏 正 memond 法 灵 一 0. 6:Amz 一 0.02 
0.5 55 3 
日 .得 4 43 
0.7 63 人 
误差 总 和 LU=0.8, cc=0.8.5=0.8 
误差 总 和 0.1 以 下 
599 次 限制 s 函 数 的 给 出 
1545 交 ) 
mrmrrrrrrrrrenrnrr7 -一 -一 
20 60 500 学 习 次 数 
(a) 束 次 修正 法 的 学 习 曲 组 
误差 总 和 一 苔 =0.5, ce0.4.8=0.3 
误差 总 和 0.1 以 下 
416 必 限 制 s 本 数 的 输出 
(304 次 ) 
rrTTTTTTTTTT 1TT 二 关 
中) 一 括 修 正法 的 学 习 曲 线 
误差 总 和 
To=0.5,， ec0.4, 有 =0.3, m=0.9 - 
误差 总 和 0.1 以 下 
， 55 次 
rrrrrrrrrrrrrnrrrrr -一 
20 60 100 
(omemond 法 的 学 习 昌 线 学 习 次 色 
误差 总 和 
=0.5.w =8.4, 有 =0.3，mm=0.9, Am=0.02 
误差 总 和 0.04BL 下 
21 次 
Prrrrrrrrrrrrrrrnrr 
20 60 100 学 习 政 
(人 ] 修 正 memopd 法 的 学 习 曲 组 


图 3.17 各 种 修正 权 值 方法 的 比较 
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3.3.2 BP 算法 收 和 急性 定理 


算法 把 一 组 样本 IO 的 问题 变 为 一 个 非 线性 优化 问题 ,使 用 了 优化 中 最 普通 的 宰 度 下 降 
等 法 ,用 选 代 运 算 求 解 权 值 相 应 于 学 习 记 亿 ,加 人 有 隆 节 点 使 优化 问题 的 可 调 参数 增加 ,从 而 可 
以 得 到 更 精确 的 解 . 

误差 送 传 播 算法 只 要 通过 有 限 次 选 代 , 就 能 保证 学 习 收 敏 .下 而 的 定理 ,在 数学 上 给 予 保 
证 . 

定理 3.3 令 @(X) 为 一 有 办 单调 递增 连续 函数 , 玫 为 Re 维 的 有 界 闭 集合 , 太 CX) 一 
(Xi ,Xes，…X) 是 玫 上 的 连续 函数 ,那么 对 于 任意 的 se>0, 存 在 正 整 数 N 和 入 数 C, .bi 一 
1,2，ND 和 WiGi1,2， Ni 一 ,2 使 

因 。 
| 7 CO We 一 0 一 (3.3.15) 
KK 了 


全 


成 立 . 

此 定理 说 明 对 于 任意 s>0, 存 在 一 个 三 层 网 络 , 其 降 单 元 的 输出 函数 为 @() ,输出 单元 
为 线性 的 ,对 于 任意 连续 映射 /:R"~~R" ,在 任意 的 有 界 闭 集 合 上 能 以 任意 精度 逼近 . 

BP 算法 虽然 简单 ,对 各 个 方 而 都 有 重要 意义 ,但 是 它 存在 以 下 问题 : 

@@ 从 数学 上 看 , 它 是 一 个 非 线性 优化 的 问题 ,这 就 不 训 避 免 地 存在 局 部 极 小 的 问题 ， 

@ 学 习 算 法 的 收 敏 速度 很 慢 , 通 常 需要 几 千 步 选 代 或 更 多 . 

轩 网 络 的 运行 还 是 单 向 传播 ,没有 反馈 ,目前 这 种 模型 并 不 是 一 个 非 线性 动力 学 系统 ,只 
是 一 个 非 线性 映射 . 

图 网 络 的 隐 节 点 数目 选取 尚 无 理论 上 的 指导 ,而 是 根据 经 验 或 实验 选取 ， 

加 对 于 新 加 入 的 样本 要 影响 已 经 学 完 的 衬 本 ,不 能 在 线 学 习 , 同 时 描述 每 一 个 样本 的 特征 
数目 也 要 求 必 须根 同 . 


8 3.4 误差 逆 传 播 算法 (BP 算法 ) 的 车 于 改进 


基于 BP 算法 的 前 馈 型 网 络 , 通 过 许多 具有 简单 处 理 能 力 的 神经 元 的 复合 作用 使 网 络 具 
有 复杂 的 非 线性 映射 能 力 , 它 不 属于 一 个 非 线性 动力 学 系统 ,只 实现 一 个 非 线性 映射 . 尽管 如 
此 ,由 于 它 理 论 上 的 完整 性 和 成 功 地 应 用 于 广泛 的 应 用 癌 题 ,所 以 它 仍然 有 重要 的 意义 ,但 BP 
算法 也 存在 不 少 问题 , 

《1 已 学 习 好 的 网 络 的 推广 泛 化 ?问题 , 即 能 否 逼 近 规 律 和 对 于 大 量 未 经 学 习 过 的 输入 向 
量 也 能 正确 处 理 , 并 且 网 络 是 否 具有 一 定 的 预测 能 力 . 

《2) 基 于 BP 算法 的 网 络 的 误差 曲面 有 三 个 特点 : 

第 一 ,可 能 有 很 多 全 局 最 小 的 解 , 即 多 解 问题 . 

第 二 ,存在 一 些 平坦 区 ,在 此 区 域内 误差 改 变 很 小 ,这 些 平坦 区 网 数 发 生 在 神经 元 的 输出 
接近 于 0 或 1 的 情况 下 ,对 于 不 同 的 瞻 射 ,其 平坦 区 的 位 置 、 范 围 各 不 相同 ,在 有 些 情况 下 , 误 
差 曲 面 会 出 现 一 些 阶梯 形状 . 

第 三 ,存在 许多 局 部 极 小 点 . 在 某 些 初始 条 件 下 ,算法 的 结果 会 陷 人 局 部 极 小 点 .初始 随机 
权 值 的 大 小 ,对 局 部 极 小 的 影响 极 大 ,如 果 权 值 太 大 ,一 开始 就 可 能 使 网 络 处 于 S 型 函数 的 乙 
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和 区 , 则 系统 有 可 能 陷 人 局 部 最 小 (或 非常 平坦 区 ). 为 防止 这 种 现象 ,选取 随机 加 权 值 时 ,使 节 
点 的 输入 加 权 和 的 绝对 值 小 于 1, 但 又 不 能 太 小, 为 此 可 选择 各 加 权 值 的 最 级 为 1/vR& ,其 中 必 
表示 连 到 ;7 点 的 所 有 前 层 结 点 的 数目 - 一 般 来 说 ,希望 初始 权 值 在 输入 累加 时 ,使 每 个 神经 元 
的 加 权 求 和 接近 于 零 ,这样 可 保证 在 一 开始 时 不 会 落 到 那些 平坦 区 上 ,保证 每 个 神经 元 在 一 开 
始 都 在 它们 激活 函数 变化 最 大 的 地 方 进行 . 

《3) 学 习 算法 的 收敛 速度 慢 . 

《和 网 络 的 隐 节 点 个 数 的 选取 尚 挟 少 统一 而 完整 的 理论 指导 . 

总 的 来 说 , 隐 含 单元 数 与 问题 的 要 求 . 输 入 输出 层 节点 数 都 有 直接 的 关系 . 


3.4-1 基于 全 局 学 习 速 率 自 适 应 调整 的 BP 算法 


BP 算法 优化 的 一 种 方法 是 对 学 习 速率 ?自动 地 寻找 合适 的 值 . 全 局 自 适 应 调整 算法 是 利 
用 整个 两 络 状态 的 知识 (例如 以 前 的 权 值 调整 方向 ) 去 修改 全 局 参数 , 即 对 每 个 可 调 参数 根据 
学 习 情 况 进行 自 适 应 调整 ， 

1. 加 入 动 量 项 

BP 基于 算法 的 神经 网 络 ,在 学 习 过 程 中 ,需要 不 断 地 改变 权 值 ,而 权 值 的 改变 重 是 和 误差 
相对 于 权 值 的 导数 成 正比 的 . 通常 梯度 下 降 方法 的 学 习 速 率 ? 是 一 个 常数 ,而 且 7 越 大 , 权 值 
的 改变 越 大 , 若 能 选择 合适 的 速率 ,使 它 的 值 尽 可 能 的 大 ,但 又 不 至 于 引起 振 葛 . 即 不 断 地 修改 
学 习 速率 ,使 它 包含 有 一 个 动量 项 ,就 是 在 每 次 辑 权 调节 重 上 加 上 一 项 正比 例 于 前 次 加 权 变化 
量 的 值 ( 即 本 次 权 值 的 修改 表达 式 中 弹 人 前 次 的 权 值 修改 量 ). 带 有 动量 项 的 加 权 调节 公式 为 ， 


Amtt 十 D 一 一 7 亚 十 ca 人 (3.4.1 


其 中 ,为 动量 系数 ,一 般 取 0. 9 左右 . 

引信 动量 项 前 效果 就 是 使 得 学 习 过 程 中 等 效 地 改变 了 值 而 不 再 是 恒定 的 值 . 引入 这 个 动 
量 项 之 后 ,使 得 调节 向 着 底部 的 平均 方向 变化 ,不 致 产生 天 的 摆动 , 即 动量 起 到 缓冲 平滑 的 作 
用 . 浇 系 统 进入 误差 曲面 的 平坦 区 ,那么 误差 将 变化 根 小 ,于 是 Arot 十 1) 近 优等 于 Am(D ,而 
平均 的 Av 将 变 为 ， 




















Azp 下 过 兴 《3.4.2) 





式 中 记 世 变化 大 ,将 调节 尽快 脱离 他 和 区 . 


再 来 看 一 下 动量 项 的 作用 ,以 一 个 权 变 量 rw 为 例 , 由 式 (3.4. 1 改写 为 : - 
Ar 邓 十 1)》 一 Arog 竹 十 1) 十 aAros( 昌 、 《3. 4.37 
其 中 Armf(Ct 二 1) 一 一 如 E/aroz , 反 轴 当 前 的 方向 . 如 果 Ar (t 十 1) 与 Arws (区 同 导 , 那 么 表明 ， 
在 误差 超 曲 而 上 ,在 ws 轴 上 沿 这 个 方向 在 一 定 范围 内 误差 有 减 小 的 趋势 ,因而 可 使 Amy (zt 十 
孔 修 改 量 更 大 些 , 面 Aw5Gt 十 1) 和 Azw (6 正好 能 够 实现 这 个 要 求 ; 如 果 Aug (ft 十 1) 与 Aeus (二 
符号 相反, 这 表明 在 us 轴 上 ,从 Aror (到 Arus (zt 十 1) 马 越过 一 个 局 部 极 小 点 ,为 避免 振 苏 ， 
希望 Arws (t 十 1? 修 改 量 小 些 . 而 Aus (t 十 1) 与 Any ( 轨 之 和 正 满足 了 这 个 要 求 . 综 上 所 述 , 显 
然 地 看 到 动量 项 的 引 人 加 快 了 学 习 速 度 . 
但 是 这 种 方法 的 缺点 也 是 明显 的 ,参数 e 的 选取 只 能 通过 实验 来 确定 . 由 式 (3. 4, 1) 可 以 
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看 出 “起 着 决定 过 去 权 值 的 变化 对 当前 权 值 变化 的 影响 程度 . 这 样 ,就 给 出 了 权重 空间 中 的 一 
类 动量 ,这 类 动量 可 以 滤 掉 权重 空间 中 误差 曲面 的 高 频 偏 差 . 为 了 防止 发 散 振 葛 , 需 要 取 很 小 
的 间隔 ,但 这 会 使 系统 非常 缓慢 地 移 向 深谷 . 动量 可 以 滤 掉 高 曲率 部 分 ,并 且 可 以 使 有 效 的 权 
值 间隔 加 大 . 一 般 情 况 ,工作 中 的 大 部 分 模拟 所 使 用 的 = 值 大 约 为 0.9， 
2. 学 习 速 率 的 经 验 公式 法 
对 于 批 处 理 更 新 的 学 习 速率 ,是 基于 相 类 似 训 练 模式 产生 类 似 梯 度 的 假设 . 如 果 有 许多 相 
类 似 的 训练 模式 ,期 望 减 小 学 习 速 率 , 训 练 集 能 被 分 为 m 个 相 类 似 模式 子 集 , 学 习 速率 和 动量 
项 用 下 面 药 方法 设置 . 
# 一 1.5/ v 情 于 机 十 十 KR (3.4. 全 
a 一 0.9 
3. 学 习 速 率 渐 小 法 
学 习 速 率 渐 小 法 是 在 训练 期 间 减 小 学 习 速 率 的 方法 . 这 种 方法 称 作为 “Search-Then-Con- 
verge”. 因为 开始 学 习 时 ,学习 速 率 比较 大 ,有 利于 加 快 学 习 速 度 , 面 忌 到 极 值 点 时 ,学 习 速率 


减 小 有 利于 收 伍 . 从 大 的 学 习 速率 K9) 开 始 ,在 训练 期 间 ,这 个 值 减 小 到 大 约 叹 人 2 ,后 来 为 








一 WO 
TD 一 苔 2 《3. 和 5) 


4. 渐 进 自 适应 学 习 速率 

用 一 种 简单 的 进化 策略 来 调节 学 习 速 率 . 从 某 个 了 开始 ,下 一 步 更 新 通过 用 增加 和 了 减 小 
学 习 速率 去 完成 .产生 比较 好 性 能 中 的 一 个 被 用 作 下 一 步 更 新 的 起 始点 : 

名 创建 两 个 一 样 的 网 络 和 初始 学 习 速 率 - 

名 按 下 式 调节 两 个 网 络 的 权 . 


D - 
一 吧 ) 5 
Arzay (2a) 一 和 T 训 志 《3. 4. 67 


图 如 果 两 者 总 误差 已 经 得 到 增加 《回潮 ) , 放 弈 这 些 两 络 并 重新 启动 以 前 的 网 络 和 初始 学 
习 速 率 . ， 。 
图 在 减 小 总 误差 的 情况 下 ,用 具有 比较 小 的 总 误差 的 网 络 以 及 学 习 速 率 以 启动 下 一 个 学 
习 步 . 


3.4.2 基于 局 部 学 习 速 率 自 适应 调整 的 BP 算法 


局 部 自 适应 指 的 是 对 每 个 可 调节 参数 采用 独自 的 学 习 速 率 ,所 以 对 每 个 权 值 寻找 到 最 优 
学 习 速率 . 局 部 策略 用 仅 有 的 特定 的 信息 (例如 偏 导 数 ) 去 修改 权 值 特定 参数 . 实践 表明 它 是 很 
有 效 的 . 

1 基 子 符号 变换 的 学 习 速率 自 适应 

对 每 个 速 接 采用 单独 的 学 习 速率 ,这 些 学 习 速 率 的 自 适 应 是 通过 观察 最 后 两 个 樟 度 的 符 
号 来 完成 的 . 只 要 检测 得 在 符号 上 不 改变 ,相应 的 学 习 速 率 就 增加 ,如 果 符 号 改变 ,学 习 速 率 就 
减 小 . 这 是 精确 的 算法 . 工作 步 又 如 下 : 

《1) 对 每 个 权重 ,选择 某 个 小 初 值 访 (0); 

《2) 幢 改 学 习 速率 
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大 (m 一 方 人 2 一 JD)z 
如 果 


9 媚 3 已 
了 《RD 一 一 J 3.4.7 
5 《7 5 (一 1) 裤 0，Arwkza) 一 一 mc 和 王 二 car 《2 ) 《 了》 


否则 
Arauy (za) 一 一 妨 (0 3 有 十 waaoi Cn 一 1 《3.4.8) 


〈3) 更 新 连接 . 只 要 保持 “一 ly. 沽 择 合 适 的 参数 2 和 过 是 很 容易 的 . 推荐 的 值 分 别 是 
1.1 一 1. 3 或 者 0.7 一 一 0. 9. 如 果 总 误差 增加 . 用 回溯 策略 重新 启动 更 新 步骤 ,对 于 这 种 重新 启 
动 ,所 有 学 习 速 率 被 减 半 . 

2. Delta-Bar-Delta 技术 

Delta-Bar Delta 方法 通过 观察 指数 平均 梯度 的 符号 变化 来 控制 学 习 速 率 . 通过 友人 常 值 
代替 乘 这 个 值 来 提高 学 习 速 率 : 

《1 对 每 个 权重 ,选择 某 个 小 的 初 值 访 (0). 

















〈22 修 政 学 习 速率 ， 
CD 一 入 人 一 D 二 we 和 如果 bt 一 DJ>e 《3.4. 9) 
机 (四 一 页 人 一 Dd， 如 果 兴 旺 Co 人-D<0 《3.4.10) 
六 Ca) 一 六 (一 1)， 其 他 《3.4.11) 

其 中 s(mD 表 示 指 数 平均 梯度 : 
CD 一 0 一 凡 王公 十 的 一 1 (3.4.12) 
0 
《3) 更 新 连接 ， 

Askm 一 一 轴 () 站 (3.4.13) 


对 于 v 推 荐 很 不 局 的 值 C5. 0,0. 095,0. 085,0. 035) ,对 于 d, 采 用 (0. 9,0.85,0.666) 和 对 
于 # 采 用 0. 7. 特别 是 难于 找到 合适 的 “, 小 的 值 可 能 产生 慢 自 适应 ,而 大 的 信 危 及 学 习 过 程 . 


3.4.3 BI(Back Impedance} 算 法 


BE 算法 在 进行 权 值 调整 时 ,不仅 用 到 了 上 时 刻 药 修正 量 , 而 且 还 用 到 一 1 和 一 2 时 刻 的 
修正 晤 . 这 样 在 学 习 精度 和 学 习 时 间 上 高 于 BP 算法 . 一 些 实验 结果 表明 ,特别 是 在 函数 折 近 
方面 BE 算法 比 BP 算法 在 学 习 精度 上 高 出 一 个 数量 级 . 

1.BI 算 法 

使 用 BI 算 活 的 一 个 神经 网 络 结构 见 图 3, 18 所 示 . 有 四 层 的 前 俩 型 网 络 , 其 中 输 和 信和 输出 
层 备 有 一 个 节点 ,两 个 降 层 各 有 四 个 节点 . BI 学 习 算法 如 下 : 

包 给 权 值 赋予 一 个 小 的 随机 数 ， 

加 给 定 输 人 尊 数值 与 相应 的 输出 函数 值 . 

国 计 算 每 个 节点 的 输出 值 ， 





1 


=---- 1 《3.4 14) 
1 二 exp( 一 ZW Yi) 














图 3. 18 网络 结 构 
〇 人 工 神经 元 ” 鲁 输 人 端 ”一 一 权 值 


国 计 算 输 出 层 节 点 的 误 善 项 ， 
届 一 〈 亿 一 办)8G 一 Z) (3.4. 15) 
六 一 YL 一 办) >SoWw 《3.4- 16) 
5 
访 = 玉 (一 区 ) >0Wx 《3.4-17) 
7 
鲜 调 整 权 值 ， 
页 ,GE 十 1) 一 丽 (0 十 o3) 和 十 5 一 D) 十 cCWYG 一 1 一 现 ) 一 2)》 


(3.4. 18) 

式 中 ,a 为 学 习 率 , 相 当 于 梯度 下 降 算 法 中 的 学 习 步 长 汉 为 影响 从" 前 一 次 ” 权 值 改变 到 “当前 ” 

权 值 的 权 值 空间 运动 方向 ,是 影响 权 值 变化 的 一 个 常数 ;c 为 影响 从 “再 前 一 次 ” 权 值 改变 到 

“前 一 次 ? 权 值 的 权 值 空间 运动 方向 ,也 是 影响 权 值 变化 的 常数 ,ae.5、c 三 个 常数 满足 下 列 关 
系 , 则 收 伍 速度 会 加快: 

< 一 一 1 (3.4. 19) 








1 十 了 十 好 十 了 
一 2 了 十 对 
2 一 了 MT (3.4. 20) 
一 一 了 
“7 了 TD ， (3.4, 21) 
式 中 了 M、 了 满足 ， 
名 型 8 友 5 0 
了 十 M 写 十 了 全 济 《3. 4. 22》 
国 引 二 另 _ 术 人员 数值 ,返回 所 有 的 输入 函数 介入 环 进行 计 和 ,直至 所 有 权 值 稳定 ,网 
络 误差 达到 预定 精度 算法 结束 . 
2. BI 算 法 应 用 于 函数 非 线性 变换 
网 络 的 输 人 函数 为 ， 


“过 高 本 中 -中 
式 中 X 一 [0,1],A、B、C 是 常数 ,网 络 的 期 望 输出 函数 为 : 
万 一 KX 十 已 


取 4 一 0-5, 日 一 0.75,C 一 3, 玫 一 一 5, 了 一 12. 使 用 HI 算法 ,运行 结果 见 下 表 3.6, 精 度 达 到 
39. 206 狗 . 
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。 5] 。 





过 3.6 使 用 BI 算 法 亩 数 非 线 性 变换 的 运行 结果 



































































































































输 人 鼻 实际 输出 信 期 望 输出 俱 误 孝 
一 2. 23924 了 一 11,89190 一 12- 00000 已 一 0. 10810 
XXX 一 2. 22559， 了 一 11.87502 了 一 11- 87500 一 0.00002 
X 一 2. 18502 了 一 11. 82476 工 一 11. 75000 瑟 一 0. 07476 
一 2. 11860 了 了 一 11. 74228 工 =11. 62500 王 一 0. 11728 

.03810 了 一 11. 62998 了 一 11. 50000 五 一 0. 12998 

里 一 1.91583 工 一 11. 49186 了 一 Ht- 37500 瑟 =0. 11686 
关 一 1. 73462 YY 一 11.33387 一 11. 25000 互 一 0. 08387 
X 一 1. 68761 了 一 11. 16366 了 一 11. 12500 瑟 一 0. 03866 
X 一 1.47818 YY 一 10. 98988 TI. 00000 瑟 =0. 01012 
天 一 1. 30977 一 10- 82092 工 一 10. 87500 瑟 =0. 05408 
X 一 1.13576 了 一 10- 66348 工 一 19. 75000 匡 一 0. 08652 
允 一 0.95936 一 10. 52170 工 一 10. 62500 下 = 有 0 10330 
到 一 0.78350 TY 一 10. 39676 了 一 10. 50000 王 一 0. 10324 
X 一 0. 61077 了 一 10- 28724 T 代 一 10. 37500 互 一 0. 08776 
X 一 0. 44333 了 一 10. 18966 T 一 10. 25000 互 一 0. 06034 
玉 一 0. 28294 工 一 10. 09925 了 一 10. 12500 王 一 0.02575 
雄一 0- 13089 了 = 一 10. 01067 了 10. 00000 五 -0 01067 
XXX 一 一 0.01192 3 一 9. 91866 下 一 9.87500 上 一 0. 04366 
一 一 1. 14499 了 一 9. 81879 开 一 9. 75000 了 一 0. 06879 
玉 一 一 0 28317 了 一 9. 70801 了 一 9.62500 忆 一 0. 08301 
XXX 一 一 0. 38157 了 一 9. 58505 了 一 9.50000 也 一 0. 08505 
凑 一 一 0.48556 了 一 9. 45040 工人 37500 五 一 0 07540 
区 = 一 0.58065 一 9. 30600 T 一 9. 25000 王 一 0. 05600 
X 一 一 0.66750 一 9. 15467 了 一 9. 12500 五 一 0.02967 
区 = 一 0.74682 一 8.99954 代 =9.00000 .00046 
X 一 一 0.81933 一 8. 84363 一 8.87500 王 一 0. 03137 
X 一 一 0.88576 一 8. 68947 了 一 8.75000 王 一 0. 06053 
民 一 一 0.94685 工 = 8. 53900 T 一 83. 62500 瑟 一 0. 08600 
一 一 1.00320 一 8. 39360 下 一 8.50000 卫 一 0. 10640 
一 一 1.05540 科 一 入 254H 了 一 8. 37500 王 一 9 12088 
天 = 一 1.10397 12105 工 一 8.25000 五 一 履 12895 
天 一 一 1. 14935 工 一 7. 99456 T 一 8. 12500 互 一 0. 13044 
X 一 一 1. 19192 了 一 7. 87465 工 一 8. 00000 了 一 0. 12535 
五 一 一 1.2320I 一 7. 7612I 开 一 7.87500 王 一 0. 11379 
太一 一 1. 26986 一 7 65403 下 = 了 .75000 有 空 0 09597 
X 一 一 1.30571 .55201 了 =7.62500 卫 一 0. 07209 











一 一 上 
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续 表 3.6 
输入 值 实际 输出 什 期 记 输 出 值 误 曹 
XXX 一 一 1. 33972 YY 一 7. 45761 工 一 7.50000 将 一 0. 04239 











Y 一 7. 36788 了 一 7. 37500 王 一 0. 00712 








X 一 一 1. 40281 了 一 7 28349 了 一 7. 25000 已 一 0- 03349 





一 一 1. 43210 了 一 7. 20418 了 一 7.12500 瑟 一 0.07918 





一 一 1.46002 了 一 7.12972 工 一 7.00000 忆 一 9. 12972 











3.4.4 BP 算法 样本 特性 及 参数 ,68 两 阶段 动态 调整 


误差 逆 传 播 算法 ,其 明显 缺点 是 学 习 时 间 过 长 ,甚至 难于 收 伍 于 全 局 极 小 点 . 虽 已 有 许多 
缘 在 提高 学 习 速 度 的 学 习 算 法 提出 ,并 在 实践 中 得 到 应 用 , 但 都 没有 针对 这 样 一 个 事实 ;对 具 
有 不 同 特性 的 输 人 样本 ,同一 初始 权 值 的 BP 网 会 表现 出 不 同 的 学 习 能 力 ;对 同一 样本 ,不 同 
初始 权 值 的 BP 网 会 表现 出 不 同 的 学 习 能 力 . 基于 在 BP 算法 中 加 人 同一 两 络 对 不 同样 本 会 表 
现 出 不 同 特性 的 想法 ,本 节 给 出 了 缺席 学 习 算法 BP1 和 强化 学 习 算法 BP2. 

另外 ,在 考察 了 BP 算法 的 学 习 曲 线 与 参数 ,8 关系 的 基础 上 ,提出 了 两 阶段 动态 调整 算 
法 BP3 ,通过 动态 的 、 自 适应 的 方法 ,对 参数 ,2 进行 两 阶段 调整 ,以 提高 学 习 速 度 . 

针对 XOR 等 问题 ,比较 了 以 上 三 种 算法 与 原 BP 算法 的 学 习 速 度 , 并 对 它们 进行 单独 和 
组 合 测试 ,取得 了 较 好 的 结果 . 

L 学 习 算法 

在 BP 算法 中 , 逆 传播 学 习 通过 了 一 个 使 全 局 误差 函数 最 小 化 过 程 完成 输 人 到 输出 的 映 
射 , 误差 函数 则 定义 为 所 有 输 人 模式 上 输出 层 单 元 期 望 输出 与 实际 输出 的 误 关 胖 方 和 : 


_Dy 
E 一 卫生 2 (3.4 23) 

















其 中 @ 是 输出 层 单元 ;7 的 实际 输出 , 厂 是 此 单元 的 期 望 输出 . 全 局 误差 函数 三 曲面 上 梯度 下 
降 由 巨 对 权 值 泵 * 和 冰 值 9 的 微分 决定 . 
对 于 输出 层 单元 &, 一 般 化 误差 久 可 以 表示 为 








他 一 DC 开 一 ODG 一 OD) (3. 4. 24) 
对 隐 仿 层 单元 j,8; 可 以 表示 为 

一 于 (1 一 年 )>18Ww (3.4. 25) 

输出 层 单元 权 值 Wux 与 阔 值 入 修正 如 下 
Wu 一 儿 r 十 oo 《3.4. 26) 
由 一 由 十 ， (3.4. 27) 

隐 含 层 单元 权 值 W* 与 国 值 久 修正 如 下 
Ti 一 印 p 十 加 让 (3.4 28) 
一 销 十 同 ) (3.4.29) 


在 学 习 过 程 中 , 对 每 个 输入 样本 逐次 修正 权 值 和 阔 值 . 若 有 N 个 输入 向 量 ,那么 一 次 学 习 
将 对 权 值 和 卫 值 修正 N 次 ,直至 误差 小 于 给 定 的 期 望 值 - 
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2- 针对 样本 特性 的 改进 算法 

在 常规 BP 算法 中 ,对 学 习 效 果 的 衡量 一 般 采用 一 组 衬 本 的 误差 平方 和 ,因此 考 串 的 是 整 
个 样本 空间 的 学 习 情 况 ,并 没有 考虑 到 BP 算法 在 学 习 过 程 中 对 于 每 个 衬 本 的 学 习 效 果 . 

1 缺席 算法 BP1 

常规 算法 在 学 习 过 程 中 对 已 经 学 习 得 非常 好 的 样本 仍 要 进行 学 习 , 不 但 浪费 了 时 间 ,而 且 
可 能 对 学 习 得 不 好 的 样本 产生 不 良 的 影响 ,使 得 学 习 次 数 并 加 . 这 样 在 学 习 过 程 中 考察 每 个 样 
本 的 学 习 效果 是 必要 的 。 

基于 以 上 想法 ,我 们 引 人 向 量 吾 , 称 为 允许 误差 . 设 输 入 向量 样本 芭 的 输出 向 量 为 Dk, 其 

应 的 教师 信号 向 最为 瑟 , 则 当 ABS(O, 一 和 ) 委 下 时 ,网 络 对 样本 驮 就 放弃 本 次 的 学 习 . 当 
网 络 在 某 次 学 习 中 放弃 了 所 有 的 样本 的 学 习 , 则 网 络 对 所 有 的 样本 的 学 习 都 达到 要 求 ,算法 结 


当 








原则 上 , 殖 中 各 分 量 可 以 不 同 . 我 们 在 实现 中 简单 规定 已 中 的 各 分 量 都 相等 , 令 为 e, 则 当 
ABSCO 一 五) 安 e 人 一 1*2…:72， 玉 为 输出 层 单 元 个 数 ) 时 ,认为 网 络 对 样本 息 的 学 习 达 到 要 
求 . 

特别 的 ,由 于 缺席 算法 在 学 习 过 程 中 样本 有 退出 学 习 的 情况 ,所 以 即使 学 习 次 数 与 常规 算 
法 相 局 时 ,同样 会 编 短 学 习 时 间 ， 

27 强 化 算法 BP2 

基于 BP 算法 对 于 每 个 祥 本 的 学 习 能 力 不 同 的 考虑 . 其 对 不 同 的 样本 的 学 习 效 果 如 果 相 
差 得 很 大 ,就 可 能 出 现 由 于 对 一 个 或 几 个 桩 本 的 学 习 效果 差 而 影响 整个 学 习 进 度 的 情形 , 因 
此 ,可 以 对 学 习 差 的 样本 在 同一 次 学 习 中 进行 强化 学 习 , 从 而 缩短 总 的 学 习 次 数 . 

回 样 , 设 输 和 人 向 量 样本 X 的 输出 向 量 为 De, 其 对 应 的 教师 信号 向 量 为 卫 , 令 





RM 一 闷 ABSCOs 一 To) 
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且 令 
办 避 
有 一 minMe RM 一 maxM 
辽 


on 
人 为 输入 样本 个 数 . 

当 MICSMCC 为 常数 ,本 实验 中 取 2) 时 , 山 当 学 习 效果 最 好 的 样本 和 最 差 的 样本 在 学 习 
获 果 上 相差 一 个 常数 倍 时 ,可 以 认为 样本 学 习 效果 相差 较 大 ,学 习 差 的 样本 可 能 会 影响 整个 学 
习 ，, 则 在 本 次 学 习 结 束 时 ,对 输 人 向 量 样本 加 强 学 习 一 次 。 

3, 参数 ,8 两 阶段 调整 算法 

多 层 网 络 对 自身 参数 的 选取 非常 芽 感 . 对 同一 个 问题 ,网 络 各 个 参数 稍 有 不 同 ,学 习 速 麻 
会 大 不 相同 , 如 何 正 确 地 选择 网 络 参数 值 是 一 个 很 准 解决 的 问题 ,如 果 让 网 络 能 自身 动态 调整 
参数 ,就 可 以 无 需 人 工 于 预 ,从 而 达到 良好 性 能 . 

参数 op 对 BP 算法 学 习 速 度 影响 很 大 . 一 般 来 说 z,6 信 越 大 ,由 误差 所 得 的 修正 值 也 越 
大 "学习 速度 也 就 越 快 . 但 若 过 大 ,将 引起 系统 振 落 ,反而 降低 性 能 , 最 优 的 选择 参数 值 是 很 困 
难 的 ,可 以 让 网 络 动态 调整 ,已 经 有 这 桩 的 算法 被 提出 . 但 是 ,以 前 提出 的 算法 ,对 参数 的 调整 
策 路 在 整个 学 习 过 程 中 是 不 变 的 ,没有 根据 学 习 的 具体 情况 进行 相应 的 变化 ,影响 了 算法 的 性 
能 , 通过 对 大 量 BP 算法 学 习 过 程 的 最 大 误差 变化 曲线 的 观察 和 分 析 , 我 们 知道 , BP 算法 的 学 








54， 计 算 智 能 





习 过 程 大 体 可 分 为 学 习 前 期 和 学 习 后 期 两 个 阶段 . 据 此 我 信 提 出 参数 ,8 的 两 阶段 动态 调整 
算法 ， 

5L) 学 习 前 期 ,输出 信和 号 与 教师 信和 号 之 间 的 误差 一 般 较 大 ,学 习 相 对 较 快 . 这 时 ,考察 最 近 
了 (如 10)? 次 以 来 的 最 大 误差 情况 , 设 为 及 (1<r 生 PP ,计算 这 己 次 的 最 大 误差 的 平均 值 3 及 仿 
差 值 BE ， 





和 


S= 2 世 /P， 瓦 一 六 ABSCS 一 交 ) 《3.4 30) 


车 吕 小 于 一 定 阐 值 (如 平均 误差 S 的 1/20), 则 认为 误差 已 基本 不 变 , 这 时 ,将 cp 分 别 
加 大 《如 0. 1), 若 E 大 于 一 定 阅 值 (如 平均 误差 S), 且 不 处 在 误差 急剧 下 降 的 阶段 , 则 认为 出 
现 较 大 的 振荡 将 <,B 分 别 减 小 (如 减 0. 02). 否则 ,认为 处 于 误差 急剧 下 降 阶段 ,这 时 不 对 wp 
进行 调整 . 

《2) 学 习 后 期 ,输出 信号 与 教师 信号 之 问 误 差 变 得 很 小 ,导致 公式 (3.4. 24) 中 6 变 得 很 
小 ,学 习 异 常 缓 慢 . 可 以 采用 如 下 方法 判 别 , 当 maxE,<T( 了 为 常数 ,现实 中 取 0.1) 时 ,部 输出 
信和 号 与 教师 信号 之 间 误 郑 小 于 某 一 阅 值 T 时 ,认为 已 经 进入 学 习 后 期 . 这 时 , 当 误差 大 小 基本 
不 变 时 ,a,B 增 大 的 幅度 应 当 加 大 (如 加 1. 0). 为 防止 ,8 过 大 引起 振 葛 ,应 规定 ;8 的 上 限 ( 如 
为 10.0)- 

4. 人 性 能 测试 

在 BP 算法 中 ,一 个 样本 的 一 次 学 习 可 以 分 为 两 部 分 :从 输入 信和 号 推导 出 输出 信号 部 分 和 
从 输出 信号 开始 反 向 修正 网 络 权 值 的 部 分 . 前 者 我 们 称 为 检验 过 程 ,后 者 称 为 修正 过 程 . 常规 
算法 中 ,一 次 学 习 包含 一 次 检验 和 一 次 修正 . 在 我 们 的 算法 中 ,一 次 学 习 包含 一 次 检验 ,而 修正 
次 数 可 以 是 没有 、 一 次 或 两 次 . 这 样 ,在 缺席 算法 中 ,修正 次 歼 小 于 等 于 检验 次 数 . 强化 算法 中 ， 
修正 次 数 大 于 等 于 检验 次 数 . 在 下 而 的 结果 测量 中 ,我 们 分 别 给 出 样本 的 学 习 次 数 、 修 正 次 数 
和 检验 次 数 . 

《1)XOR 学 习 . XOR 问题 是 测试 BP 算法 中 最 典型 的 问题 之 一 . 表 3. 7 一 3. 11 给 出 其 样本 
及 各 因素 对 算法 的 影响 - 由 表 3.8 可 见 , 不 同 的 隐 节 点 数 对 各 种 算法 均 有 影响 ,BP1,.BP2、 
BP3、ALL 算法 对 学 习 速度 均 有 不 同 程度 提高 , 几 种 笋 法 的 学 习 最 大 误差 昌 线 如 图 3. 19 所 示 。 
由 表 3. 9 可 见 ,BP 算 法 对 ,p8 值 的 依赖 性 很 大 ,而 采用 BP3 算法 时 ,不 同 ,8 值 对 学 习 战 绩 影 
响 很 小 ,由 表 3. 10 可 见 ,学 习 要 求 精度 高 时 ,BP3 算法 和 ALL 算法 比 其 他 算法 性 能 要 好 . 由 表 
3. 11 可 见 ,统计 总 的 修正 次 数 之 后 ,BP1,BP2 算法 基本 有 稳定 的 加 速 出 ,这 表明 它们 具有 广泛 
的 应 用 范围. 











束 3.7 XOR 学 习 样本 
样本 输 人 输出 
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表 3.8 学 习 次 数 与 隐 层 结 点 关系 




















让 节 点 BP BP1 BP2 BP3 BPI&BP2 BP1&BP3 BP2&BP3 ALL 
2 881 789 769 283 681 274 224 218 
全 887 835 738 273 728 263 233 228 
6 577 502 575 178 502 177 175 175 
8 416 393 413 165 389 158 163 158 








+ oa 一 有 0.3, 学 习 率 nr 一 0.8, 误 盖 e 一 0. 05 


表 3.9 学 习 次 数 与 w\8 的 关系 




















ea 一 月 了 BP BP1 BP2 了 BP3 ALL 
0.2 >999 >999 999 284 224 
0.4 575 609 582 283 210 
0.6 479 434 399 284 207 
0.8 395 362 311 Z89 208 































08 加 
C8 进行 调整 
ac,B-04 
06 有 0.8 
下 e0.05 
长 竹 节 点 数 -2 
于 0.4 
02 
= 
0 50 100” 150 200 2750 300 350 400 
学 习 次 糙 
图 3.19 BP,BP3,ALL 庶 差 曲线 
表 卫 10 学 习 次 数 与 允许 误 差 关系 
误 益 BP BP1 BP2 BF3 ALE 
0.2 2Z34 220 ]49 219 160 
.1 270 256 186 246 150 
0. 05 395 362 311 289 208 
.02 999 >999 >999 581 45 




















* Ap 一 0. ga 一 p0.8, 隐 节点 数 为 2 
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窜 3.11 修正 次 数 与 .关系 


a 尼 HP BP1 BP2 BP3 ALL 








0.1 .2 >4000 >>3976 >4214 1136 941 





人 .和 0-3 2984 2448 2711 1100 871 





.6 0-4 2184 1786 1945 1136 866 





8 0-6 1684 1406 1454 1176 870 





0.9 0.7 1552 1308 1306 1212 3870 




















+ 一 0.8.e 一 0.05, 隐 节点 数 为 2 
《2) 四 比特 校 验 问题 . 四 比特 校 验 问 题 是 对 给 出 的 相 个 0,1 代码 求 出 其 奇偶 校 验 和 ,也 是 
检验 BP 算法 性 能 的 典型 问题 之 一 (样本 略 ). 表 3. 12 给 出 了 检验 次 数 十 修正 次 数 与 ,8 的 关 
系 : 
素 3. 12 检验 次 数 十 修正 次 数 与 ,8 的 关系 


呈 肥 BP BEP1 BRP2 BP3 ALL 
0 2 0.2 909 十 909 810 十 533 527 十 553 503 十 503 315 十 206 


0 0.3 894 十 894 769 十 392 529 十 569 463 十 463 334 十 210 
D-6 0. 4 749 十 749 659 十 311 647 十 686 418 十 418 389 十 231 

















0.8 0.6 653 十 653 612 十 278 213 十 225 529 十 529 257 十 167 
0.9 0.7 649 十 649 285 十 155 437 十 463 532 十 532 158 十 129 


上 述 改 进 在 实验 中 取得 了 较 好 的 效果 ,可 以 看 出 缺席 算法 和 强化 算法 的 加 速 比较 接近 , 缺 
席 算法 的 性 能 比较 稳定 ,强化 算法 的 学 习 次 数 少 . 参数 动态 调整 算法 性 能 优 于 以 上 二 者 ,特别 
在 学 习 误差 要 求 精度 高 的 情况 下 ,性 能 更 优 . 这 些 算法 的 综合 ,一 般 比 单方 法 的 学 习 次 数 少 ， 

综 上 所 述 , 利 用 BP 算法 训练 神经 网 络 求解 一 定 的 问题 需要 大 量 的 学 习 次 数 . 为 加 快 学 习 
过 程 , 可 以 利用 样本 特性 和 参数 动态 调整 的 方法 . 通过 对 以 上 两 方面 的 研究 ,提出 了 三 种 改进 
算法 . 通过 对 XOR 等 问题 学 习 的 测试 ,验证 了 上 述 算法 的 可 行人 性 .上述 改进 ,可 以 说 ,适用 于 
使 用 BP 算法 求解 问题 的 场合 . 由 于 准确 地 描述 样本 特性 和 参数 调整 对 网 络 学 习 的 影响 是 一 
个 复杂 的 问题 ,本 文 仅 做 一 些 基本 的 工作 ,有 待 于 做 更 深入 的 .大 量 的 研究 . 





























8$3.5 使 用 遗传 算法 (GA) 训 练 前 馈 型 神经 网 络 方法 


本 节 简 述 了 遗传 算法 的 基本 原理 .操作 及 算式 ,并 以 一 个 识别 部 分 英文 字母 的 多 层 前 镇 型 
神经 网 络 为 例 ,给 出 了 用 遗传 算法 训练 网 络 .优化 网 络 权 值 的 方法 和 步骤 . 

遗传 算法 (Genetic Algorithm, 简 称 GA) 是 模拟 自然 界 生物 进化 过 程 的 计算 模型 . 它 依据 
通 者 生存 、 优 胜 劣 汰 的 进化 规则 ,对 包含 可 能 解 的 群体 反复 进行 基于 遗传 学 的 操作 ,不 断 生成 
新 的 群体 并 使 群体 不 断 进化 ,同时 以 全 局 并 行 搜索 方式 来 搜索 优化 群体 中 的 最 优 个 体 ,以 求 得 
满足 楼 求 的 最 优 解 . 

GA 比 起 其 他 搜索 方法 ,如 随机 查找 、 梯 度 下 降 、 模 拟 退 火 等 ,主要 优点 是 简单 、 重 和 棒 人 性 强 . 
GA 实现 全 局 并 行 搜索 ,搜索 空间 大 ,并 且 在 搜索 过 程 中 不 斯 地 向 可 能 包含 最 优 解 的 方向 调整 
搜索 空间 :以便 寻 找到 最 优 解 或 准 最 优 解 . 用 GA 解决 的 问题 越 复 杂 , 目标 越 不 明确 ,其 优越 性 
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越 明显 ， 

GA 是 由 美国 学 者 Holland 于 1975 年 首次 提出 的 . 近年 来 , 它 在 组 合 优化 问题 求解 .机 器 
学 习 、. 人 工 生命 等 领域 已 展现 了 它 的 应 用 前 景 和 潜力 ,在 国内 外 对 GA 的 研究 和 应 用 已 成 为 十 
分 热门 的 研究 课题 ,并 已 得 到 了 比较 广泛 的 应 用 . 

一 、 基 本 概念 

GA 进行 踪 传 操作 的 基本 对 象 是 个 体 或 染色 体 (chromosome), 每 个 染色 体 是 一 个 知识 结 
槐 ,代表 所 要 求解 的 问题 的 一 个 可 能 解 . 染色 体 通 常用 字符 串 或 位 串 来 表示 ,若干 长 度 的 串 称 
为 构成 染色 体 的 基因 人 gene)- 

群体 (Population? 由 一 组 CN 个 ) 克 色 体 组 成 , 它 代 表 GA 搜索 的 造 传 空间 . GA 对 群体 中 
所 包含 染色 体 的 数量 CN) 很 敏感 :从 维持 群体 中 个 体 的 多 样 性 .防止 路 入 局 部 解 的 角度 来 考 
虑 ,他 乎 N 越 大 越 好 ,但 是 这 会 明显 增加 计算 量 , 还 可 能 虹 响 个 体 竞 争 ， 

GA 中 用 适应 度 函 数 (fitness function) 来 评价 染色 体 的 优 劣 .染色 坟 的 适应 订 值 越 大 , 相 
应 染色 体 所 代表 的 解 越 优 ,生存 的 概率 越 大 . 选择 适应 度 函 数 的 依据 是 能 否 有 效 地 指导 搜索 空 
间 沿 着 面向 优化 参数 组 合 方向 ,逐渐 向 近 最 佳 参数 组 合 ,而 不 会 导致 搜索 不 收 仇 或 陷 人 局 部 最 
优 ,同时 要 易于 计算 ,但 并 不 像 BP 算法 那样 要 求 函 数 具 有 可 微 性 ， 

二 、 基 本 操作 

编码 (Coding) 是 将 问题 解 的 表示 映射 成 遗传 空间 解 的 表示 , 即 用 字符 串 成 位 种 构造 染色 
体 , 其 相反 操作 为 解码 . 

选择 (Selection) 操 作 是 根据 染色 体 的 适应 度 , 在 群体 中 按 一 定 概率 选取 可 作为 父 本 的 染 
色 体 ,选择 的 依据 是 :适应 度 大 的 染色 体 被 选中 的 概率 大 . 

交叉 (Crossover) 操 作 是 按 一 定 概率 随机 地 选择 旨 色 体 对 ,然后 对 染色 体 对 按 一 定 概率 随 
机 地 交换 基因 以 形成 新 的 子 染 色 体 . 

变异 (Mutation) 操 作 是 按 一 定 概率 随机 地 改变 某 个 染色 居 的 基因 值 . 

三 .算法 

首先 ,确定 编码 形式 ,定义 桨 色 体 串 的 长 度 . 各 基因 的 意义 和 表示 形式 及 确定 映射 关系 , 然 
后 确定 适应 度 画 数 . 

算法 的 大 致 步 又 如 下 : 

《1) 随 机 产生 N 个 染色 体 ,构成 初始 群体 S. 

《2 计算 群体 S 中 各 染色 体 的 适应 度 . 

3) 依据 各 染色 恢 的 适应 度 , 按 一 定 概率 随机 地 选择 K 对 (1<K< IN/2) 染 色 体 ,构成 子 群 
坏 S ,SCS. 

《4 随机 地 将 S 中 染色 体 两 两 配对 . 

《5 对 每 对 染色 体 按照 某 一 概率 实施 交叉 操作 ,形成 长 对 新 的 子 染色 体 构成 的 子 群体 S^ 

〈6) 对 S 中 的 染色 体 按 某 一 概率 实施 变异 操作 . 

《7 计算 SS 群体 中 所 有 染色 体 的 适应 度 , 并 海 汰 掉 适 应 度 小 的 乓 对 染色 . 形成 新 一 
代 群 S. ， 

《8)7 若 S 中 适应 度 最 大 的 染色 体 满足 要 求 的 适应 度 值 成 评价 标准 ,成 者 完成 了 指定 代 的 
搜索 ,由 解码 S 中 适应 度 最 大 的 染色 体 , 得 到 问题 的 求解 ,否则 转向 (3). 
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四 、 使 用 训练 前 鲁 型 神经 疝 给 的 方法 步 隧 

前 向 神经 网 络 是 无 反馈 ,有 教师 指导 的 阶层 状 网 络 结构 . 对 前 向 网 络 的 学 习 训练 通常 采用 
著名 的 BP(Back Propagation》 算 法 . BP 算法 虽然 能 保证 网 络 学 习 过 程 最 终 收 伍 , 但 其 虽 落 缺 
点 是 学 习 训练 时 间 长 , 易 收敛 于 局 部 极 小 . 一 些 改 进 的 BP 算法 虽然 不 断 被 提出 ,但 是 效果 并 
不 明显 . 图 3. 20 为 一 识别 部 分 英文 字母 的 前 向 神经 网 络 ,其 中 输 人 层 节 点 数 为 35, 隐 层 节点 
数 为 16. 输出 层 节点 数 为 4, 其 中 隐 层 节点 的 输入 加 权 和 为 ， 





四 人 昌 一 > Vi 人 六 十 全 * 《3. 5.1) 

输出 层 节点 天 的 输 和 加权 和 为 : 
uC 一 Zrox VCD 十 包 《3. 5.2) 

节点 的 输出 通 数 用 Sigmoid 函数 , 即 ， 
了 Cz) 一 于 二 《3.5, 3》 





大 ii 16 天 -35 


和 琶 
油 = 


图 3. 20 网 结 结构 及 训练 样本 
使 用 GA 对 网 络 进行 训练 优化 权 值 的 方法 步骤 如 下 : 
1 损 色 体 编码 ,确定 染色 体 长 度 和 结构 
由 选 写 的 网 络 结构 可 知 待 训练 的 网 络 权 值 数 为 ,35 x 16 十 16 * 4 十 16 十 4, 每 一 权 值 用 取 值 
范围 为 一 1. 0 至 十 1. 0 之 间 的 数 表示 ,最 后 将 数值 的 排序 固定 下 来 ,至 此 已 定义 了 染色 体 的 结 
枸 和 长 度 . 
2. 适应 度 郴 效 的 选取 





适应 度 泗 数 选取 为 
GD = 17ECD) (3.5.4) 
EGD 一 去 玉 忆 (w 一 T ， (3. 5-5) 
地 
其 中 证 1,2,…,N 为 染色 体 数 ;:P 一 1,…, 为 输出 层 节点 数 ; 开 一 1,2,3,4 为 学 习 样本 数 T 
为 教师 信号. 
3. 控制 参数 的 选 定 


由 于 GA 某 些 控制 参数 的 选 定 尚 无 理论 上 的 指导 ,只 能 插 经 验 或 实验 来 确定 . 在 此 ,初始 
群体 中 的 染色 体 数 选取 NM 一 10; 依 据 适应 度 高 的 染色 体 被 选 作 父 染 色 体 的 概率 大 的 原则 , 选 
下 一 1 对 损 色 体 作 为 父 染 色 体 ;交叉 操作 交换 染色 体 中 一 半数 目的 基因 . 

夺 网 络 学 习 训 练 过 程 

《1 对 网 络 权 值 编码 .排序 ,构造 染色 体 . 随机 产生 10 个 染色 体 , 构 成 初始 群体 . 每 个 权 值 
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到 一 1.0 至 十 1.0 之 间 的 小 随机 数 . 

《2 对 每 个 染色 体 解码 得 到 根 应 权 值 ,按照 公式 计算 网 络 的 误差 机 数 马 ( 臣 和 染色 体 的 适 
应 度 函 数 Fi. 

《3) 按 选择 概率 Psel 选 出 一 对 染色 体 C, 和 C 

(4) 按 交叉 概率 Peross 对 Ci 和 Cs 实施 交叉 操作 ,得 到 子 染 色 体 C; 和 C3. 

《5) 分 别 对 Ci 和 C? 按 概率 Pmut 实施 变异 操作 ,得 到 新 的 于 染色 体 CI 和 C3. 

(6) 对 C 和 解 码 得 到 根 应 权 值 , 并 按照 公式 计算 出 网 络 的 误差 卫 数 记 和 染色 体 的 适应 
度 值 /. 

《7) 在 六 二 2X 天 个 染色 体 中 淘 泪 2 下 个 适应 度 小 的 染色 体 ,形成 新 一 代 群 体 - 

(8) 若 满足 马 <0. 001, 则 选择 有 最 小 的 误差 函数 值 下 ( 厅 的 染色 体 , 即 适应 度 最 大 的 染色 
体 ,将 其 解码 得 到 网 络 权 值 . 至 此 学 习 训练 结束 ;否则 转 (3)- 

经 过 大 约 800 代 的 搂 索 后 染色 体 的 子 均 适应 度 趋 于 稳定 , 适应 度 曲线 见 图 3. 21， 
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遂 代 次 数 
加 3.21 适应 度 曲 线 
最 优 染 色 体 对 应 的 网 络 结构 在 训练 过 程 中 误 盖 函数 马 的 变化 趋势 见 图 3, 22(a) 所 示 , 从 10 
个 染色 体 中 选取 5 个 染色 体 , 它 们 对 应 的 网 络 结构 在 学 习 训练 过 程 中 误差 函 数 马 曲 线 变化 趋势 
见 图 3. 22(b) 所 示 , 可 见 随 着 遗传 操作 的 进行 ,网 络 的 误差 函数 值 逐 渐 趋 子 全 局 最 小 。 
看 6 
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全 最 优 染色 体 中 ) 选 取 5 条 染色 体 


图 3.22 误差 理 数 曲线 
用 适应 度 最 大 的 染色 体 对 应 的 网 络 参数 来 识别 图 3. 20 中 的 输 和 人 样本 ,识别 率 达到 
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100 多 . 将 学 习 样本 加 入 了 噪声 信号 (随机 地 将 样本 信号 的 某 些 位 取 反 ,图 3. 23 给 出 了 样本 信和 号 
附加 噪声 后 的 输入 信号 ) ,作为 输入 各 测量 1000 次 ,识别 率 见 图 3. 24， 




















折旧 自 
马 昌 攻 


谢 3- 23 ”附加 噪音 的 输入 信号 





识别 率 说 益 
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图 3.24 识别 率 曲线 


实验 结果 表明 ,用 GA 训练 前 向 神经 网 络 取得 了 较 好 的 效果 ,达到 了 很 高 的 识别 率 . 实验 
证 明了 用 遗传 算法 训练 前 向 神经 网 络 的 有 效 性 . 和 BP 算法 相 比 ,遗传 算法 训练 时 间 较 长 ,大 


约 是 BP 算法 的 1. 


5 信 ,GA 和 BP 算法 相 比 陷 人 局 部 极 小 的 屯 率 低 . 


总 之 ,遗传 算法 作为 一 种 全 局 并 行 搜索 算法 ,基本 框架 已 经 形成 ,并 在 各 种 问题 的 求解 中 
展现 了 它 的 特点 和 能 力 , 可 以 预见 它 将 有 非常 广泛 的 应 用 前 景 利用 GA 实现 对 网 络 的 学 习 训 


练 的 关键 是 丈 色 体 : 





编码 方案 的 确定 及 适应 度 函 数 的 选择 . GA 存在 的 


要 问题 是 对 于 较 大 规 


模 的 神经 网 络 ,搜索 过 程 项 要 较 长 时 间 . 另外 ,GA 所 使 用 的 一 些 控制 参数 如 Po Pu 等 目前 


尚 无 理论 上 的 指导 


， 还 需要 进一步 探讨 与 研究 . 


$3.6 前 馈 型 神经 网 络 结构 设计 方法 





3.6.1 输入 层 和 输出 屋 的 设计 方法 
网 络 的 输 人 、\ 输 出 层 维 数 应 根据 应 用 的 具体 要 求 来 设计 . 输入 层 节点 数目 取决 于 数据 源 的 


维 数 . 首先 要 确定 了 





E 确 的 数据 源 ,数据 沽 中 末 经 处 理 的 或 者 虚假 的 数据 将 妨碍 对 网 络 的 





上 确 的 


训练 ,所 以 要 剔除 那些 无 效 的 数据 ,确定 数据 源 的 合适 数目 输 人 层 的 节点 数 可 以 根据 需要 求 
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解 的 问题 和 数据 表示 的 方式 来 确定 . 如 果 输 人 是 电压 波形 ,那么 输入 单元 可 以 根据 电压 让 形 的 
打样 数值 和 采样 点 数 来 决定 输 人 层 中 单元 的 维 数 ,也 可 以 用 一 个 单元 输入 ,但 输 人 样本 为 采样 
的 时 间 序 列 . 如 果 输 入 为 图 像 , 则 输入 单 元 可 以 为 图 像 的 象 素 , 也 可 以 是 经 过 处 理 后 的 图 像 特 
征 ， 
输出 层 维 数 应 根据 使 用 者 的 要 求 来 设计 ,如 果 网 络 用 作 分 类 器 ,其 类 别 数 为 mm, 那么 一 般 
了 科 个 神经 元 ,其 训练 样本 集中 的 忆 属于 第 7 类 ,要 求 其 输出 为 : 
| = 
工 一 “ 
0,0,0,1,0,0,0 
即 第 了 个 输出 为 1, 其 他 输出 为 0, 因而 对 一 个 ” 维 输入 ,XE R" 进行 分 类 ,映射 忒 YE R", 满 
足 ， 
殉 一 X2” 属于 7 类 
冯 = 0， 到 不 属于 了 类 
进 外 ,输出 神经 元 还 可 根据 类 别 进 行 编码 , 即 详 类 的 输出 只 要 用 logsz 个 输出 节点 即 可 . 
注意 在 设计 输 人 和 输出 层 时 ,应 尽 可 能 减 小 系统 的 规模 ,使 系统 的 学 习 时 间 和 复杂 性 践 小 . 


3.6.2 隐 层 数 和 层 内 节点 数 的 选择 


一 、 隐 层 数 的 选择 

隆 层 数 可 以 采用 一 个 、 两 个 或 多 个 隐 层 来 构造 网 络 结构 , 隆 层 数 多 的 网 络 映射 功能 增强 ， 
但 是 学 习 训练 时 间 开销 大 . 1989 年 Robert Hecht-Nielson 证 明了 任何 在 闭 区 间 内 一 个 连续 函 
数 都 可 以 用 一 个 隐 层 的 网 络 来 逼近 , 即 一 个 三 层 的 网 络 能 够 实现 任意 精度 的 由 * 维 到 mm 维 的 
非 线性 映射 . 

定理 3.4 假定 隐 层 的 节点 数 可 以 根据 需要 自由 设置 ,那么 用 三 层 S 状 的 VO 特性 的 节 
点 ,可 以 以 任意 精度 逼近 任何 连续 本 数 ， 

1988 年 Cybenko 指出 , 当 各 节点 均 采 用 S 型 数 时 ,一 个 隐 层 就 足以 实现 任意 判决 分 类 
问题 ,两 个 隐 层 则 足以 表示 输入 图 形 的 任意 输出 函数 . 目前 对 二 进 制 分 类 或 判决 边界 问题 ,一 
个 隐 层 就 足够 了 . 但 是 ,如 果 要 求 输出 是 输入 的 任意 连续 函数 ,就 要 用 两 个 隐 层 或 者 采用 不 同 
的 激活 函数 . 有 时 即使 是 连续 输出 的 情况 ,用 一 个 隐 层 也 可 以 满足 要 求 ,这 取决 于 问题 的 性 质 . 

陷 层 起 抽象 的 作用 , 邵 它 能 从 输入 提取 特征 . 增加 隐 层 可 增加 神经 两 络 的 处 理 能 力 ,但 是 
必 将 使 训练 复杂 化 . 一 般 来 说 ,开始 设 定 一 个 隆 层 ,然后 按 需 要 再 增加 陷 层 数 . 

增加 神经 网 络 处 理 能 力 还 有 另外 一 些 方法 ,例如 在 一 个 隆 层 的 情况 下 采用 多 个 组. 这 种 组 
是 和 模仿 大 脑 的 神经 元 的 结构 ,这 些 神经 元 可 对 视觉 输入 进行 特征 鉴别 (如 鉴别 线 或 者 其 他 特殊 
的 简单 图 形 ). 在 一 屋内 ,多 个 并 行 组 可 用 不 同类 型 和 不 同 数 目的 节点 ,这 种 结构 可 使 这 些 并 行 
组 网 时 提取 不 周 的 特征 . 大 多 数 应 用 不 要 求 有 多 个 组 的 隆 层 ,但 是 ,这 种 结构 对 单个 隆 层 的 功 
能 有 限制 的 情况 ,提供 了 一 个 解决 办 法 . 

二 、 隐 层 内 节点 数 的 确定 

基于 BP 算法 的 神经 网 络 隐 层 节点 数 的 选择 对 网 络 的 性 能 影响 很 大 ,所 以 , 层 内 节点 数 需 
要 进行 恰当 的 选择 . 隐 层 单元 数 的 选择 是 一 个 非常 复杂 的 问题 , 目前 并 没有 理论 章 指 导 , 没 有 
一 个 好 的 解析 式 来 麦 示 - 隐 层 单元 的 数目 与 问题 的 要 求 、. 输 人 、 输 出 单元 数 都 有 直接 的 关系 .一 
般 情 况 下 , 队 单 元 数目 太 少 ,可 能 不 能 训练 出 来 ,或 网 络 不 强壮 ,不 能 识别 以 前 没有 看 到 过 的 样 


”62， 计 算 智 能 





本 ,容错 性 差 , 但 是 隐 单 元 数 太 多 又 使 学 习 时 间 过 长 , 误 盖 也 不 一 定 达到 最 佳 . 一 般 情况 下 , 仅 
能 但 经 验 和 实验 来 确定 隆 单元 数 . 

如 果 输 人 输出 是 二 值 函 数 ,例如 输入 为 二 值 豆 像 象 素 ,而 输出 为 0,1, 隐 单元 数目 可 以 选 
择 和 输出 层 单元 数目 大 致 相等 . 

用 作 函 数 再 近 的 网 络 , 隐 层 单元 数 要 和 盘 近 画 数 的 精度 和 巩 数 本 身 的 波动 情况 有 关 . 例 
如 :要 求 膛 近 精度 高 ,要 求 腺 近 的 三 角 冰 数 或 多 项 式 的 项 数 要 增加 ,因而 隐 单 元 的 个 数 要 允 ， 
样 如 果 函 数 波动 越 多 ,也 要 求 增加 隐 层 单元 数 . 有 一 种 设计 是 采用 逐步 增长 和 逐步 修 前 法 来 调 
整 隐 单 元 数目 ,初始 时 使 用 足够 多 的 降 单元 ,然后 在 学 习 过 程 中 逐步 修剪 掉 那 些 不 起 作用 的 隐 
单元 ,一 直 减 少 到 不 可 收缩 为 下 .也 可 以 在 初始 时 设 定 较 少 的 隐 单 元 ,学 习 一 定 次 数 后 ,不 成 功 
后 再 逐步 增加 隐 单 元 数 ,一 直 增 加 到 比较 合理 的 隆 单 元 数 为 止 . 

另 一 种 方法 是 使 用 遗传 算法 来 确定 网 络 的 隐 层 数 和 隆 层 单元 数 , 即 把 这 些 待定 的 数目 编 
码 成 染色 体 的 基因 ,然后 通过 遗传 操作 来 优化 网 络 结构 ,以 确定 隐 层 数 和 隆 单元 数 - 

因为 没有 很 好 的 解析 式 表示 ,可 以 说 条 单元 数 与 问题 的 要 求 , 输 人 输出 单元 的 多 少 都 有 直接 
的 关系 . 根据 对 隐 节 点 的 几何 解释 ,第 一 降 层 的 每 个 节点 确定 了 一 个 判决 而 , 它 把 N 维 输入 空间 
CN 为 输入 向 量 的 分 量 数 ) 分 为 两 部 分 ,第 二 隐 层 的 每 个 节点 又 将 第 一 让 层 节 点 形成 的 多 个 羯 决 
面 组 合成 凸 域 空间 或 者 判决 城 . 最 后 ,输出 节点 又 把 多 个 凸 域 组 合成 任意 形状 的 判决 空间 成 判决 
边界 , 很 明显 , 隆 层 的 节点 有 些 用 来 提取 输入 图 形 的 特征 ,有 些 则 用 来 完成 某 些 特 殊 功 能 . 试图 枢 
据 任 务 来 确定 隐 层 节点 的 数目 是 很 困难 的 ,这 是 因为 阿 络 映射 的 复杂 人 性 和 由 于 许多 成 功 地 完成 
训练 过 程 的 不 确定 性 的 性 质 ,目前 大 多 数 还 是 以 经 验 为 依据 . 

下 面 介绍 几 种 方法 ,可 作 参 考 ， 

(1)1987 年 Hecht-Nielsen 在 讨论 了 具有 单 隐 层 的 ANN 的 功能 之 后 ,指出 它 可 实现 输入 
的 任意 函数 ,并 提出 隐 含 层 节点 的 数 此 为 2Y 十 1, 其 中 N 为 输 人 的 节点 数 ， 

《2)1987 年 Linnmann 及 P 利用 他 对 多 层 阿 络 功能 的 儿 何 解释 ,提出 了 对 隐 含 层 节点 数 的 
估算 . 对 于 一 个 图 形 识别 问题 ,假设 输出 判别 边界 是 任意 的 形状 ,那么 平均 来 说 ,由 于 每 个 非 凸 
域 的 输出 边界 是 售 组 合 第 二 麻 层 的 两 个 凸 子 城 形 成 的 ,所 以 ,第 二 隆 层 的 节点 数 应 为 MX2， 
这 里 M 为 输出 层 的 节点 数 . 在 模式 分 类 中 ,有 五 一 logs 工 的 近似 关系 ,其 中 互 为 隐 单 元 数 ; 工 
为 输入 训练 模式 数 . 

《3)1988 年 Kuarycki 根据 其 实验 发 现 ,在 高 维 输 人 时 ,第 一 隐 层 对 第 二 隐 层 的 最 佳节 点 
数 比 例 为 3 : 1. 例如 ,和 由 两 个 隐 层 的 BP 算法 的 神经 元 阿 络 实现 图 形 识别 时 , 设 输 人 节点 为 20 
和 输出 节点 为 8 时 , 按 Linnmann 的 关系 ,第 二 让 层 的 节点 数 为 MX 2 一 8X2 一 16, 根 据 Kua- 
7ycki 的 推论 ,第 一 降 层 的 节点 数 应 为 3SX CMX2) 一 48 个 . 

《4)1990 年 Nelson 和 Illingworth 建议 谭 含 层 节点 数 应 为 4X N. 对 于 独 形 识别 的 ANN， 
隐 含 层 节点 数 大 为 减少 , 当 输 人 维 数 较 高 时 ,节点 数 最 少 可 达到 0. 02X V. 例如 , 在 贷款 评估 
的 网 络 中 , 输 人 节点 为 4, 那 么 隐 含 层 节点 均 取 4X4 一 16, 并 在 图 形 识 别 的 例子 中 ,输入 节点 数 
为 64 ,第 一 隐 含 层 节点 数 取 64, 第 二 隐 含 层 节点 数 取 20. 

5) 对 于 医疗 诊断 ,不 少 人 作 了 研究 ,认为 用 具有 单 隐 含 层 的 网 络 就 可 得 到 满意 结果 . 这 种 
单 降 含 层 阿 络 的 输出 的 判决 域 再 常 是 凸 域 . 下 面 介绍 几 种 选择 单 降 含 层 节 点 数目 的 估 值 方法 
如 下 : 

Lippmann 认为 最 大 隐 含 层 节 点 的 数目 为 Mi CN 十 1)， 
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Kuarycki 认为 最 大 隆 含 层 节点 的 数目 为 KM X3. 

Maren A 了 等 人 认为 ,对 小 型 网 络 来 说 , 输 人 节点 数 大 于 输出 节点 数 时 ,最 佳 隐 含 层 节点 
数 等 于 输入 和 输出 节点 的 几何 平均 值 即 (Mi X N) 二 ,KM 为 输出 层 节点 数 . 

《6) 下 面 几 个 公式 也 可 供 选 择 孜 含 层 单元 数 参考 . 


四 天 < 袜 Ct，,K 为 样本 数 ,mm 为 隐 单 元 数 全 为 输 人 单元 数 ,如 果 zi> 辣 ,Co 一 0. 


四 mm 一 wzTzTa, 其 中 性 为 输出 层 神经 元 数 ,* 为 输 人 层 单元 数 ,a 为 1 至 10 间 的 常数 - 

图 mx 一 log:m 为 输 和 人 层 神经 元 数 ,用 于 数据 压缩 的 网 络 - 隐 单 元 数 与 输入 单元 数 的 出 为 
其 数据 压缩 比 , 常 使 用 此 公式 . 

转 还 有 一 种 方法 就 是 使 隐 含 单元 数 可 变 . 一 种 是 开始 放 人 尼 够 的 聊 含 单元 ,然后 把 学 习 后 
那些 不 起 作用 的 隐 含 单元 逐步 去 掉 , 一直 减 少 到 不 可 收编 为 止 . 

图 另 一 种 是 在 开始 放 和 比较 少 的 隐 仿 单元 ,学 习 一 定 次 数 后 ,还 不 成 功 就 要 增加 隐 含 单元 
个 数 ,一 直达 到 比较 合理 的 路 含 单元 数 为 止 . 这 样 做 对 于 用 硬件 完成 BP 多 层 网 有 一 定 的 好 
处 ,但 是 对 于 结构 的 选 定 所 花 的 时 间 比 较 长 ,这 属于 一 种 变 结构 类 型 . 

三 、 初 始 权 值 的 选取 

由 于 系统 是 非 线性 的 ,初始 值 对 于 学 习 是 否 达到 全 局 最 小 或 是 否 能 够 政 敏 关系 很 大 . 一 般 
情况 下 ,希望 初始 权 值 在 输 人 累加 时 使 每 个 神经 元 的 状态 接近 于 零 ,这 样 开始 时 在 误差 暴 面 上 
不 落 到 那些 平坦 区 上 . 权 值 一 般 取 较 小 的 随机 数 , 这 样 可 以 保证 每 个 神经 元 在 一 开始 时 都 在 转 
移 函 数 变 化 最 大 的 区 域 进 行 . 

对 于 输 人 样本 要 进行 归 一 化 处 理 , 使 得 那些 比较 大 的 输 人 值 或 者 太 小 的 输入 值 不 至 于 使 
得 神经 元 过 于 饱和 或 截止 ,应 能 使 输 人 落 在 神经 元 转移 函数 梯度 最 大 的 那些 区 域 - 


3.6.3 逐次 修剪 法 设计 前 馈 型 神经 网 络 


网 络 结构 的 选择 是 一 个 较 复 杂 的 问题 ,由 于 问题 性 质 不 同 , 使 用 的 场合 和 要 求 也 不 一 样 ， 
所 谓 “ 最 佳 "结构 没有 一 个 统一 的 标准 ,另外 , 绪 构 空间 要 出 参数 大 得 多 ,搜索 也 较 困 难 , 一 般 只 
能 根据 实际 要 求 选择 一 个 “满意 ”的 结构 即 可 

现 有 的 修剪 算法 很 多 ,大 多 情况 下 修剪 后 的 网 络 还 要 重新 训练 .下面 介 绍 的 方法 是 在 修剪 
中 同时 调整 剩 下 的 权 值 ,以 保持 整个 网 络 的 输出 不 变 , 所 以 不 需 重 新 训练 , 面 且 所 用 算法 不 仅 
可 用 于 修剪 隐 节 点 ,也 可 用 于 修剪 某 一 连接 . 

一 个 前 馈 网 络 可 用 一 个 无 环 路 的 带 权 有 向 图 六 一 (V,E,w) 表 示 ,其 中 V 一 (0,1,2…, 对 是 
一 组 "十 1 个 节点 ,ECVXVY 是 一 组 连接 ,w: 吾 一 民 是 一 组 实 值 连接 权 值 ,or 表示 节点 = 与 了 间 
的 权 ,每 一 节点 iEY 有 一 发 送 域 ， 

忆 一 人 EViGhE 瑟 } 
它 是 接受 节点 不 司 送信 号 的 所 有 节点 集合 ,还 有 接收 域 

Ri 一 人 EV:G7) E 导 
它 是 向 节点 了 馈送 信号 的 所 有 节点 的 集合 ,以 下 分 别 用 疡 和 盖 表示 已 ; 与 Ri 的 太 小 (节点 个 
数 ). 节点 V 分 为 三 组 输入 节点 Vi, 隐 节点 Va 以 及 输出 节点 Yo. 

3. 25 是 一 个 典型 的 前 局 网 络 . 其 中 Vi 一 {1,2,3,4},Va 一 {5,6,7},Vo 一 (8,9,10}. 以 
节点 7 为 例 , 它 的 接收 域 R 一 {1,3,5} ,发 送 域 P; 一 18,10}. 网络 运行 时 , 输 人 节点 接受 外 来 
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信号 , 非 输入 节点 守 的 净 输 入 为 
扣 一 > on 《3.6. 1 


后 
向 P 送出 的 信号 为 % 一 AS) 

算法 开始 先 用 一 个 较 大 的 网 络 , 经 M 个 样 
本 训练 达到 预定 的 性 能 ,然后 逐次 删除 某 些 隐 单 
元 ,同时 适当 调节 剩 下 的 权 值 以 保持 网 络 性 能 基 
本 不 变 . 假定 单元 jEYr 被 定 为 可 能 删 去 的 节 
点 , 则 删除 后 的 连接 Erw 将 变 为 

Eee 一 Eap 一 (人 XPURX 人) 

设 ;是 六 的 发 送 域 PP 中 的 一 个 节点 ,输入 
第 z 个 样本 (kwE {(1,2， MD 时 的 净 输 和 是 

5 一 onoy 久 (3. 6. 2) 

其 中 ?和 是 相应 于 样本 w 节点 了 的 输出 , 删 掉 到 
后 节点 从 尽 ; 一 (4) 得 到 输入 . 为 保持 网 络 性 能 图 3.25 ”前 全 网 络 的 例子 
不 变 ,需要 调节 和 输入 到 # 的 其 余 连接 的 权 值 , 即 
所 有 -5E 玉 一 坊 }] 的 以 使 ; 的 净 输 入 不 变 , 即 希望 ， 











oa 外 一 六 (os 十 玉 )3 入 《3. 6. 3) 
JE ER 一 
以 上 应 对 所 有 wp= 1,2.…,M 和 fiE 户 都 成 立 .0 是 需要 确定 的 调节 量 . 上 式 可 写 为 
了 03 名 一 av? 吧 - 《3. 6. 47 
人 
这 是 MP, 个 线性 方程 式 , 它 有 总 > (> 一 1)》 个 未 知 数 {8x) ,其 中 心 是 删 掉 天 后 送 人 大 的 


站 
发 送 域 的 总 连接 个 数 ， 

可 把 线性 方程 组 (3. 6. 4) 写 成 矩阵 形式 ,对 每 一 单元 iE P，, 网 络 输入 M 个 样本 后 , 它 的 
M 个 输出 是 一 个 M 维 向 量 丈 ， 


于 一 《2 330 和 (3.6.5)》 
用 办 as 表示 MX(Cn 一 1]) 的 矩阵 , 它 的 列 是 ; 的 新 接收 域 民 :一 (和 的 输出 向 量 , 即 
Ta 一 [333 (3. 6. 67 
所 以 ,要 对 每 一 zE Px 通过 解 方 改 组 来 求 虽 :其 中 
达 。 一 os 了 《3. 6. 7) 
把 以 上 方程 写 在 一 起 ,有 
2.5 一 五 (3.6.8) 
其 中 ， - 
到 一 diag(Yaa Year) 《3. 6. 9) 
芋 一 ( 英 , 器 ，… 王 ,? (3.6. 10》 
五 一 (项 罗 0) 《3. 6. 117 


且 二 (一 1 PP 遍历 已 - 
为 解 (3. 6- 8) 式 ,可 用 最 小 二 乘 方法 , 即 
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min 站 肋 一 25 1 : 《3, 6.12) 
每 删 去 一 个 节点 都 要 解 (3. 6. 8) 式 ,所 以 楼 有 一 个 非常 有 效 的 算法 . 用 一 种 共生 梯 度 法 可 
以 解决 这 一 问题 . 
还 有 一 个 问题 是 如 何 选择 应 题 去 的 单元 . 选 出 的 根据 是 选择 对 网 络 影响 小 的 单元 AR, 具体 
标准 为 
天 一 arg Jin >7o | 了 (3. 6. 13)》 


En 
于 是 整个 删除 的 步 又 可 归纳 如 下 : 
人 DR 一 05 
@@ 按 (3. 6. 13) 式 确定 网 络 Ne 中 应 删 去 的 单元 ; 
图 用 共 叔 梯度 法 解决 问题 (3. 6. 12) 以 求 5 值 ; 
图 构成 新 网 络 Net 一 (Verrb ,BEetn ,ae ) 


其 中 
Verm 一 ve 一 (由 《3. 6. 14) 
Et 一 BetrD 一 ({ 和 又 三 各 U 玉 各 X (六 )) 《3. 6- 15) 
Up 一 站 全 (3.6.16? 
Ap 十 配 革 全 甩 
全 站 一 有 十 1. 


轿 重复 @@ 一 人 @@ ,直到 六 9 性 能 明显 下 降 时 停止 . 








83.7 基于 BP 算 法 的 前 人 局 型 神经 网 络 在 识别 问题 中 的 应 用 


前 合 表 神经 网 络 在 现实 中 的 应 用 很 广泛 ,诸如 信号 识别 .手写 文字 识别 .图 表 参 数 识别 等 . 
基于 BP 算法 的 前 馈 弄 神经 网 络 可 更 好 地 完成 这 些 应 用 功能 . 下 面 列举 几 个 现在 较为 成 熟 的 
基于 BP 算法 的 前 馈 型 神经 网 络 应 用 的 例子 . ， 


3.7-1 味觉 信 生 的 学 习 和 识别 











一 .味觉 信和 号 的 特征 抽取 

众所周知 , 酸 、 垂 苦 、 香 、 咸 被 称 为 基本 昧 . 在 对 五 种 基本 味觉 信号 的 模式 识别 中 ,首先 通 
过 味觉 传感器 对 味 党 信和 号 进行 数据 采集 ,对 每 种 昧 党 信号 采样 的 数据 点 相当 子 一 个 200X41 
阶 的 实数 矩阵 ,而 不 能 直接 用 味觉 传感器 的 测量 值 作为 输入 祥 本 , 此 时 ,需要 短 过 适当 的 变换 
方法 ,对 昧 党 采 样 信号 进行 特征 抽取 和 特征 选择 ,以 降低 样本 的 空间 维 数 , 即 需 万 通过 对 原始 
测量 值 进行 压缩 舍弃 ,提取 能 表征 五 种 味觉 信和 叶 的 明显 特征 . 

图 3. 26 是 对 酸 际 和 耐 味 的 测量 数据 绘制 的 三 维 图 形 . 不 难看 出 ,对 五 昧 的 识别 也 可 以 归 
结 为 对 三 维 图 形 的 模式 识别 . 

1 特征 抽取 方法 

其 广义 上 说 特征 抽取 ,就 是 一 种 变换 . 若 Y 是 测量 空间 , 王 是 特征 空间 , 则 特征 抽取 A 印 
变换 为 :A:Y 一 互 . 

使 用 分 割 取 抉 的 变换 方法 , 先 将 采样 矩阵 (图 形 ) 分 割 成 规则 的 块 , 百 计 算 每 志 内 采样 值 的 
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转世 26 利用 对 酸 卫 和 开 际 的 采样 数据 给 制 的 图 形 

累加 和 (该 块 的 体积 ) 作 为 该 块 的 麦 征 ,以 达到 降低 输 人 样本 维 数 的 目的 . 从 采样 矩阵 的 大 小 及 
保证 分 割 后 每 块 内 所 含 的 采 裤 点 数 大 体 相近 考虑 ， 挝 定 五 种 分 割 方 法 ( 见 图 3, 27) ,至 于 哪 种 
分 齐 方 法 好 ,有 待 通过 实验 加 以 验证 . 如 果 按 园 3. 27(a) 的 分 害 方 法 , 任 取 一 子 块 思 , 候 定 其 物 
再 位 置 是 从 < 行 起 上 行 止 ,c 列 起 愉 列 止 ,并 把 读 位 置 里 射 到 五 种 屿 党 信号 相应 位 置 上 的 五 个 
于 块 记 为 由 与 一 1y2,… 5), 则 味觉 信号 在 子 块 m 处 的 累加 和 为 ， 





102 190 
上 H| 126 182 
fi9 
4 
取 
28 
伟 14 
0 0 0 
05913 33 加 3 阿 中 161116 EE 了 IT 2 1 加 着 3 3 
4x20-80 人 5Sx16sH0 (e)6x14=84 
1 鸣 199 
1 呈 190 
180 
36 3 
3 加 
有 2 10 
0 
1 9 ) 反 机. 第 和 人 1 7 
USx12-96 (iox10=i00 


杀 3.27 实验 用 的 5 种 分 记 取 卖 的 分 法 


计算 出 全 部 We ,于 是 味觉 信号 / 可 以 用 一 个 10X10 的 和 矩阵 来 普 代 , 从 而 大 大 降低 了 输 大 
样本 的 分 量 数 . 
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为 了 消除 味 党 信号 测量 过 程 中 采样 值 受 味 党 液体 浓度 因素 的 影响 ,可 用 相对 值 替代 绝对 
值 吉 以 解决 , 即 先 做 和 ;, V 一 >)VGi = 5》 为 块 数 ; 再 求 相对 值 :V 一 VyAVi 

这 样 就 可 以 得 到 一 个 不 爱液 体 浓度 影响 ,以 相对 值 为 元 素 的 矩阵 作为 网 络 的 学 习 样 本 ,从 
而 达到 了 仅 对 五 味 识别 的 目的 . 

2. 特征 选择 

从 冉 3. 26 可 以 看 出 ,图 形 的 某 些 部 分 并 没有 明显 的 分 类 特征 ,因而 可 以 肿 去 那些 没有 明 
显 特征 的 块 , 达 到 进一步 降低 空间 维 数 的 目的 - 

为 了 选择 有 各 自明 显 特 征 的 抉 ,任意 子 抉 mm 映射 到 五 种 味 党 信号 相应 位 置 上 的 5 个 子 据 





记 为 mw G 一 1，……5)， 它 们 之 间 的 区 别 程 度 用 特征 值 工 来 表示 , 即 五 值 大 , 则 说 明 五 种 昧 党 
信号 在 于 块 mm 处 各 自 特征 明显 . 使 用 下 面 两 种 方法 求 工 值 . 
《1 在 子 块 六 处 , 若 各 于 块 的 体积 为 Vs 人 一 1，… ,5)， 
Wi 一 袜 WW=Ay 1 (3.7.2) 
风 T 值 为 
和 一 min(| Vi 一 VD 天 天 访 让 寺 一 1 5 (3.7. 3) 


《27 倘若 各 子 块 在 六 处 体积 都 相等 , 则 其 Vs 值 均 为 0.2; 返 之 ,各 子 块 相互 间 差 异 大 , 则 
内 值 都 远离 均值 0. 2, 显 然 可 用 下 式 求 工 值 : 


， 
五 一 中 1V 一 0.21 (3. 7. 47 


2 

之 后 , 按 所 求 的 各 子 块 的 工 箱 大 小 ,将 子 块 排序 ,选择 时 可 保留 大 的 ,舍弃 小 的 . 排序 时 ， 
可 以 按 不 同 的 分 寓 方 法 各 自 排序 ,也 可 以 混在 一 起 排序 ,当然 这 时 可 能 出 现 所 选 的 子 块 部 分 重 
重 . 至 于 选择 多 少 块 ,由 实验 来 确定 . 

3. 实验 与 结果 

对 昧 党 信号 的 特征 抽取 和 选择 是 在 SUN 工作 站 上 用 忌 语言 实现 的 , 由 程序 实现 对 各 子 
块 T 值 的 计算 和 排序 ,而 后 的 输出 文件 记载 着 按 Ti 值 排序 的 各 子 顽 的 位 置信 息 ,以 便 在 学 习 
训练 和 识别 时 ,进行 子 块 的 选取 . 

对 五 昧 信号 的 识别 是 基于 BP 神经 网 络 的 方法 , 即 先 将 压缩 后 的 五 个 学 习 样 本 作为 阅 络 
的 输入 ,经 不 断 调整 网 络 的 权 信和 矩阵 , 待 学 习 结束 后 ,再 对 来 知味 党 信号 进行 识 列 . 

特征 抽取 的 效果 可 以 从 学 习 次 数 、 时 间 和 识别 精度 来 评价 . 首先 , 按 萎 3. 27 的 分 割 方法 ， 
对 每 种 分 割 各 自 排序 ,各 取 T; 值 大 的 前 25 块 作为 输入 样本 ,测量 其 学 习 次 数 和 错 判 次 数 ( 包 
括 误 判 和 沁 判 ). 由 测试 结果 图 3. 28 可 知 ,分 割 方法 (a) 为 最 佳 . 

接着 进一步 考察 分 割 (a) ,改变 输 人 样本 的 分 量 数 , 即 改变 选择 块 数量 测定 学 习 次 数 , 见 图 
3. 29, 可 见 按 工 值 选 取 前 40 块 时 ,学 习 次 数 最 少 . 图 3. 30 是 对 五 种 分 割 的 块 按 症 值 混在 一 
起 排序 , 随 着 所 选择 的 块 数 的 增加 ,测量 其 学 习 次 数 和 时 间 所 得 到 的 曲线 , 可 见 , 当 按 下 值 选 
择 前 15 块 时 ,无 论 从 学 习 次 数 和 时 间 来 姓 都 是 最 小 的 . 图 3. 31 是 混合 排序 和 按 (a) 分 割 时 排 
诬 之 间 的 对 比 , 由 (b) 可 知 随 着 所 选择 块 数 的 增加 ,学 习 时 间 有 增长 的 趋势 ,这 无 疑 是 因为 增 
加 了 内 络 输入 单元 数 , 因 而 加 大 了 计算 量 的 缘故 . 
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图 3.31 两 种 排序 的 对 比 
模式 的 特征 抽取 和 选择 的 效果 可 以 用 对 昧 觉 信 号 的 识别 精度 , 即 识别 率 来 评价 . 可 以 用 测 
星 错 判 次 数 的 方法 模拟 实现 , 即 当 学 习 结 束 后 ,再 在 学 导 样 本 信号 上 附加 随机 噪声 信号. 若 学 
习 信号 为 4,C 为 一 1 到 十 1 间 的 随机 数 , 则 倒 加 噪声 信号 后 的 测量 值 4' 一 4 十 0. 5C4. 以 全 为 
未 知 信号 输入 ,各 测量 1000 次 , 量 错 判 次 数 ,结果 见 图 3. 32. 由 图 可 知 , 当 按 (a) 分 割 排序 ， 
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取 前 40 块 的 计算 值 作为 网 络 的 输入 样本 时 , 误 识 率 为 4 多 左右 ; 当 混合 排序 取 前 15 欣 时 , 误 
识 率 为 12. 5 多 左右 . 两 者 都 能 达到 设计 目标 . 另外 ,还 可 以 看 出 , 陆 着 所 选 块 数 的 增加 , 误 识 率 
将 逐渐 降低 ,显然 这 是 因为 所 选取 的 块 数 越 多 越 逼 近 原 图 像 所 致 . 

220.00 






















一 一 洗 合 排序 
-分割 ( 排 序 








荡 80.00 
60.00 四 
40.00 
40.00 LT 1 1 1 1 
20.00 40.00 60.00 80.00 
所 选 块 数 


图 3, 3 两 种 排序 的 误 识 率 

总 之 ,对 味觉 信号 的 模式 识别 ,使 用 了 较为 简单 的 分 割 取 抉 方法 进行 特征 抽取 和 选择 , 取 
得 了 较 满 意 的 效果 . 这 种 方法 ,无 疑 也 能 应 用 于 对 一 般 三 维 图 形 进 行 识 别 的 场合 . 

二 、 神 经 网 络 味觉 信号 的 学 习 和 识别 

1- 样本 的 选取 

由 味觉 传感器 分 别 对 五 种 味道 液体 进行 数据 采样 ,每 种 液体 一 次 采样 的 数据 点 为 8200 
个 ,如 果 原 封 不 动 地 作为 神经 网 络 的 输入 ,出 使 输入 神经 元 数目 过 多 ,经 模式 抽出 规范 为 表 
3. 19 的 形式 ,其 中 每 列 数 据 对 应 一 种 味 党 信号 的 输入 模式 ,将 其 作为 网 络 的 输入 信号 , 即 学 习 


样本 . 
表 3.13 神经 网 络 输 入 规范 模式 








模式 号 酸味 甜 味 昔 轩 香味 威 昧 
0 0. 196909 0. 255833 0. 257407 0. 144757 0. 182603 
1 0. 200618 0. 252565 0. 255801 0. 151254 0. 385557 
0 488789 0 302145 0. 685884 0.738045 1.916772 
3 0. 230964 0. 293088 0 281492 0.173610 0. 204479 
22 四 0. 222085 0. 268812 0. 263620 0- 164859 0. 186757 
23 0. 301208 0. 367970 0. 349208 0. 243108 0 271468 
24 0. 616016 0.510635 0. 367740 0.566409 史 , 321578 








教师 信号 如 表 3, 1 所 示 , 其 中 每 列 对 应 一 种 味觉 信号 . 将 输入 信号 和 教师 信号 一 同 输入 
给 网 络 , 网 络 在 学 习 过 程 中 将 不 断 地 调整 权 值 内 , 当 输出 信号 和 教师 信号 间 的 误差 之 和 已 小 
于 初始 设 定 值 时 ,学 习 过 程 即 告 结束 . 此 时 将 最 终 调整 好 的 权 值 多 存 人 文件 中 以 待 识别 时 使 
用 . 学 习 过 程 如 图 3. 33 所 示 ， 
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表 3.14 教师 信号 
酸味 甜 味 昔 味 香味 若 黑 
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教师 信和 号 


图 3.33 学习 过 程 

















2. 味觉 信 叶 的 学 习 

三 层 结构 的 神经 网 络 如 岁 3. 3 所 示 ,其 中 输入 层 神 经 元 数 为 25 个 《以便 和 输 人 模式 相 匹 
配 ), 中 间 层 神经 元 数 由 实验 确定 ,输出 层 神经 元 数 为 5 个 . 设 输 和 人 层 神经 元 输出 为 丘 (i 一 0,1， 
…24)* 各 下 分别 和 输入 层 至 中 间 层 某 个 神经 元 7 间 的 权 值 wx 乘积 之 和 为 神经 元 7 的 输 人 
信号 ,该 信号 与 神经 元 ; 的 阔 值 b 之 和 为 到 ,以 瑟 为 自 变量 的 Sigmoid 画 数值 FKD) ) , 即 为 神 
经 元 了 的 输出 吾 ; , 求 出 中 间 层 全 部 妃 . 同样 ,各 本 再 分 别 和 输出 层 某 个 神经 元 上 (K 一 0,1，…， 
4 和 中 间 层 神经 元 间 的 权 值 we 的 乘积 之 和 作为 的 输入 信号 ,再 与 天 的 立 值 yx 之 和 作为 本 
数 子 的 自 变 量 St, 函数 值 D, 即 为 神经 元 上 的 输出 . Sigmoid 函数 为 : 

Cr) 一 17 十 exp( 一 2AUs)) 〔〈3. 7. 5》 

LU 为 决定 画 数 斜 率 的 常量 , 即 学 习 率 . 





输入 层 中 间 层 


3.34 ”网 络 结构 
具体 的 学 习 算 法 按 下 面 顺序 进行 : 
(1 网 络 参数 的 初始 化 - 决定 网 络 状态 的 权 值 Was ,Vs , 阔 值 ,7 用 小 随机 数 初始 化 ; 
《2)? 按 序 取 1 列 模式 作为 网 络 的 输 人 信和 号 # 
《3) 中 间 层 各 神经 元 输出 的 计算 式 为 : 
玉 一 呈 W 十 用 (3.9.6) 
也 一 CD 《3.7.7) 
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(4 输出 层 各 神经 元 输出 的 计算 式 为 : 

S >)VuoBiTL7， Ge 一 FS) (3.7.8) 
以 上 为 正 向 待 播 过程 , 下 面 给 出 误差 逆 传 播 过 程 . 
(5) 计 算 输出 层 神经 元 的 误差 . 用 教师 信号 习 和 输出 层 神 经 元 的 输出 Ox 间 的 差 值 来 计算 


和 神经 元 & 相关 联 的 权 值 Yu 和 阔 值 7 的 误差 : 
有 一 (0 一 TO 一 0 
《6) 计 算 中 间 层 神经 元 的 误 关 .用 立 和 Vs 及 中 间 层 的 输出 瑟 ; 来 计算 和 中 间 层 神经 元 7 
相关 联 的 权 值 克 ; 和 靖 值 % 的 误差 : 
四 一 六 23V4BC 一 孔 ) 《3.7,.9) 
(7) 输 出 层 神 经 元 的 靖 值 办 和 权 值 Vs 的 修正 . 用 误差 w 和 中 间 层 神经 元 的 输出 五 ; 及 常 
数 = 之 积 来 修正 Vs ,并 用 误差 加 和 常数 8 之 积 来 修正 Bi - 
Vs 一 且 十 ap， 六 一 疙 二 88 《3, 7. 10) 
《8) 中 间 层 神经 元 的 阐 值 % 和 权 值 允 x 的 修正 . 用 误差 o 和 输入 层 神经 元 的 输出 二 及 常 
数 。 的 积 来 修正 酌 ,, 并 用 mm 和 常数 8 之 积 来 修正 态 : 





了 一 印 。 二 ac 了 8 一 凡 十 ai 《3.7.11) 
《9? 取 下 一 个 输 人 模式 作为 输入 信 叶 ,如 果 输 和 人 模式 轮 序 一 周 , 则 计算 误差 午 瑟 ; 
王 一 密 10 一代 | (3.7. 12) 


如 果 互 值 小 于 指定 的 误差 范围 , 则 学 习 终止 ;否则 更 新 学 习 次 数 ,返回 (2). 如 果 仍 有 输 人 
模式 待 输入 则 返回 C37- 

上 式 中 的 Eee,B 为 事先 指定 好 的 常数 ,其 选择 将 决定 学 习 过 程 的 快慢 . 以 上 学 习 过 程 在 
SUN 工作 站 上 用 语言 来 实现 . 加 3. 35 为 改变 中 间 层 神经 元 数 对 学 习 次 数 和 学 习 时 间 的 测量 
结果 ,可 昂 选 择 中 间 层 神经 元 数 为 30 时 将 取得 最 佳 效 果 . 








2 025 名 0.25 
攻 0.25 对 
区 加 o25 
重 025 对 
0.25 0.25 
0.25 上 外 -一 | 业 -| 一 一 
20.00 “40.00 ”60.00 80.00 10.00 20.00 “30.00 ”40.00 
中 间 展 神经 元 数 中 间 居 神经 元 数 
图 3.35 中 间 雇 神经 元 教 和 学 习 次 数 及 学 习 时 间 葛 关系 
3. 味 党 信号 的 识别 


使 用 神经 网 络 对 味觉 信号 的 识别 过 程 如 图 3. 36 所 示 . 当 待 测 信号 为 五 种 流体 味觉 信和 号 
时 ,其 输出 结果 如 珍 3. 15 所 示 , 当 待 测 信号 为 未 知 攻 味 党 信号 时 ,其 测量 结果 为 ;0.963892， 
0. 011745,0. 010409,0. 020601 ,0. 010000. 识别 结果 为 :酸味 . 
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调整 好 的 权 值 
待 测 信号 “| 一 “网 络 识别 ”| 一 一 | 识别 结果 
喉 声 信和 
3.36 味 党 信和 号 识别 过 程 
表 3.15 测量 结果 

待 测 信号 输 出 结 果 
散 味 0. 952079 0.022198 站 021339 0 02042 总 010000 
甜 味 站 , 028328 0, 981666 0.010000 0. 010000 O, 0310000 
菩 味 .010678 . 010000 0. 990000 0. 010000 g. 0t0000 
香 昧 ,010000 0, 010000 0.010000 0. 987471 0.038766 


感 昧 0,.D10000 0. 010000 日 .014723 0. 010000 0. 990000 
上 面 的 结果 是 使 用 标准 液体 信号 , 即 学 习 过 程 中 所 使 用 的 输入 信号 ,但 是 在 实际 测量 过 程 
中 输入 信号 往往 偏离 标准 信号 . 为 考证 神经 网 络 对 味觉 信号 的 识别 精度 ,可 在 标准 信号 上 附加 
随机 噪声 信号 作为 输入 信号- 设 4 为 标准 信和 叶 值 ,B/A 为 信 嗓 比 ,C 为 一 1 一 十 1 间 的 随机 数 ， 
那么 附加 只 声 信 叶 后 的 输入 信和 叶 值 A 为 :4' 一 A 十 C(B/A) ,下面 给 出 当 B/A 取 0.2 时 ,对 五 
种 流 体 信号 各 测量 1000 次 时 的 测量 结果 - 仅 有 两 种 液体 信和 号 各 失败 二 次 . 识别 结果 为 : 
1. 一 《1000,0.0.0,0) 
2. 一 (0,1000,0,0,0) 
3. 一 (0,0,998,0,0) 
4. 一 (0,0;0,998,0) 
5. ->(0,0,0,0,1000) 
测量 次 数 一 1000, 信 嗓 比 CB/A) 一 0. 200000 
图 3. 37 为 对 五 种 味觉 信号 ,B/A 取 值 为 0. 0 一 1. 0, 间 隔 为 0.01 时 ,各 测量 1000 次 时 的 
测量 结果 .由 图 3. 37 可 以 看 出 当 信 申 比 B/A 为 0. 2 时 , 误 调 7 次 数 将 逐渐 增多 ， 
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夯 3.37 附加 了 琴 声 信号 的 识别 
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综 上 所 述 ,将 神经 网 络 应 用 于 对 味觉 信号 的 学 习 和 识别 上 取得 了 较为 满意 的 效果 ,特别 是 
当 信 品 比 小 于 0. 2 时 识别 率 几 乎 接近 百分之百 . 由 于 神经 网 络 具 有 较 强 的 自学 习 和 联想 记忆 
能 力 , 与 传统 的 模式 识别 方法 相 比 ,无论 是 从 模式 的 特征 抽取 、 表 示 、 推 理 , 还 是 从 识别 率 等 方 
面 , 都 有 明 显 优势 和 发 展 潜力 . 但 是 本 研究 工作 仅 对 五 种 标准 液体 信号 进行 学 习 和 识别 ,至 于 
混合 液体 的 味觉 识别 和 模糊 定量 识别 ,无 论 从 传感器 的 研制 来 看 ,还 是 从 神经 网 络 的 实现 来 
看 ,估计 将 是 十 分 复杂 和 困难 的 事 , 有 待 于 进一步 的 研究 . 


3.7.2 手写 体 数 字 识 别 


手写 体 数字 识别 在 邮政 编码 识别 .银行 业务 等 方面 有 重要 应 用 . 由 于 字体 变化 大 ,对 识别 
率 要 求 离 ,所 以 有 较 大 困难 - 神经 网 络 具 有 学 习 能 力 和 快速 并 行 实现 的 特点 ,可 以 用 于 解决 这 
个 问题 . 下 面 介绍 的 方法 是 以 美国 邮局 从 不 同 地 区 的 大 量 信封 上 搜集 到 的 6000 个 数字 作为 样 
本 和 集 ( 转 3. 38), 其 中 4000 个 作为 训练 集 ,2000 个 作为 测试 集 , 以 下 具体 介绍 其 主要 内 容 . 


2 NB3L3C7I PP OO 一 3Y3ILSTLS 9 



































DecsavgaGa7cPy ”VTS 
ABCT8gV9 -23x 54547225F 
171235S567?? 史 9 339T691 
2 了 AZ 子 4G7 8P 7 333MAL6T 9 
(训练 样本 (b) 测 试 样本 
图 3.38 ”手写体 数 字样 本 集 
1 特征 提取 


数字 低 扫 描 输 入 ,二 值 化 并 统一 规格 化 为 16X16 的 图 像 .不 管 是 印刷 还 是 手写 数字 ,者 是 
一 些 线 划 , 即 二 维 平面 上 的 一 维 结构 ,可 利用 局 部 有 向 线段 作为 特征 ,为 检测 此 特征 可 利用 
Kirsch 模板 (或 称 Kirsch 算 子 ), 它 是 一 种 简单 面 直观 的 阶 卜 边线 检测 算 子 . 对 数字 图 像 中 每 
一 象 素 人 7 ,考察 它 8 个 邻 点 的 其 度 变化 ,以 其 中 三 个 相 邻 点 的 加 权 和 减 去 剩 下 五 个 邻 点 的 
加 权 和 , 令 三 个 邻 点 环 久 (为 不 断 位 移 , 取 其 差 值 .大 于 一 定 阅 值 者 说 明 该 方向 有 边缘 存在 ， 
可 表示 为， 
KG 访 一 max[ lm 5Sx 一 37x 卜 } 


其 中 
S 下 二 4 十 上 ea 
一 An 十 An 十 Aus 十 As 十 Any 
式 中 4 为 该 点 忒 度 值 ,4 的 下 标 按 模 8 计算 (图 3. 39). 此 处 只 用 了 四 个 方向 的 特征 ,分 别 是 
水 平 (H)、 垂 直 (V?、 右 对 角 线 (CR 和 左 对 角 线 (L)， 
天 GO 一 maxK| 5So 一 3T ,15S 一 3T 1) 
天 (ij)v 一 maxC| 59: 一 37T |，| 5Se 一 3T 1) 
天 人 JR 一 maxK| 59S: 一 37 |，|5Se 一 3Ts 1) 
天 GDr 一 max(| 5Ss 一 3T 1, 15S, 一 37T 1) 
进一步 ,至 把 16X16 上 的 方向 特征 压缩 为 4X4. 此 外 音 加 上 总 体 的 轮 麻 特 征 ( 由 15 个 付 氏 描 
述 于 与 一 些 简单 的 内 轮廓 的 拓扑 特征 组 成 ) ,这 样 共有 5 个 4X4 的 特征 图 (图 3. 40). 
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4 业 人 
日 人 罗 
4 4 4 
(A) 
5 |35|5s -3| -3 | -3 -3| 5 15 -3 -3 | -3 
-3| "| -3 -3| oo | -3 -3| oo |5 5 | oo |-3 
-3| -3| -3 5|s| 5 -3| -3| 5 5 | 5 | -3 
十 一 二 一 二 一 
〈《b) 
5 | -3 | -3 -3| -3 | -3 5 | | -3 
-3| 5 5 5 2 一 3 -3| 0 ] 昌 0 3 
一 3 -3 1 了 ] -3 | -3 =-3 纯 ] -3| -3| -3 
《ce)》 (Cd》 
《8B) 
图 3.39 Kirsch 算 闻 
《4) 象 元 Ci,7 的 8 叙 城 KB) 不 同方 向 的 Kirseh 算 子 
16x 16 
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2. 神经 网 络 分 类 器 

基本 网络 是 带 一 个 隆 层 的 前 向 网 络 ,存储 单元 及 输出 单元 用 Sigmoid 函数 ,输出 一 共 分 为 
10 类 . 对 于 手写 体 数字 识别 ,其 特征 数 各 类别 数 都 较 大 , 且 各 特征 又 不 是 互相 独立 的 ,如 果 都 
用 一 个 网 络 来 分 类 , 则 阅 络 非常 复杂 ,难以 训练 且 推 广 效 果 不 好 ,为 此 采用 多 疝 络 组 合 的 方法 
《图 3. 41)， 每 个 子 岗 络 只 利用 一 部 分 特征 ,各 河 络 的 输出 经 适当 组 合 方式 作为 识别 结果 ,组 合 
方式 可 用 加 入 平均 法 ,少数 服从 多 数 的 竞选 法 等 等 ,此 处 是 利用 一 种 模糊 集成 (Fuzzy inter- 
nal) 方 法 . 


[ 汪 训 让 二 ] 





















吧 吕 峡 束 | | 间 肛 记事 


图 3.4I 神经 网 络 分 类 震 
3.7.3 在 包装 件 缓冲 童 层 非 线性 识别 中 的 应 用 


缓冲 包装 设计 的 基本 步骤 之 一 是 选择 适当 的 包装 件 缓冲 垫 层 . 由 于 缓冲 材料 几乎 都 是 非 
线性 的 , 且 大 多 呈 强 非 线性 ,四 此 无 论 从 理论 研究 还 是 从 工程 应 用 的 角度 ,确定 包装 件 缓冲 束 
晨 材 料 的 非 线性 ,对 于 合理 地 设计 包装 件 , 提 高 产品 包装 的 防震 ,缓冲 能 力 都 是 十 分 重要 的 .本 
节 使 用 一 种 将 遗传 算法 与 BP 算法 相 结合 的 混合 训练 方法 ,并 将 其 应 用 于 包装 件 缓冲 提 层 非 
线性 特性 识别 问题 中 ,使 得 结构 化 神经 网 络 方法 更 适 于 实际 应 用 ,为 有 效 地 识别 缓冲 材料 的 非 
线性 特 住 提供 了 一 种 可 行 的 途径 . 

一 、 结 构 化 神经 网 络 模型 

在 振动 工程 领域 中 ,一 个 常见 而 又 非常 重要 的 问题 巧 通过 实测 数据 识别 动力 系统 的 非 线 
性 特性 . 由 于 人 工 神经 网 络 模型 具备 传统 计算 模型 所 没有 的 国有 特性 ,已 使 得 它 成 为 动力 学 模 
型 识别 的 一 个 理想 选择 . 常见 的 神经 网 络 方法 识别 系统 非 线性 的 基本 原理 是 相同 的 ,即将 系统 
视 作 “ 黑 昔 于 ”, 用 输入 ,输出 样本 对 训练 . 它 不 考虑 系统 内 部 结构 ,而 大 将 线性 与 非 线性 侈 复 力 
作为 一 个 整体 来 识别 ,得 到 的 是 线性 与 非 线性 两 者 的 综合 动态 特性 ,但 是 在 据 要 特别 了 解 非 线 
性 本 身 的 属性 时 ,这 种 方法 则 不 足 凡 胜任 有 一 种 识别 振动 系统 非 线 人 性 特性 的 结构 化 神经 网 络 
方法 ,将 系统 分 为 线性 与 非 线 任 两 部 分 ,经 学 习 得 到 的 神经 网 络 可 以 单独 识别 出 系统 非 线性 模 
再 ,而 不 是 线性 与 非 线性 综合 在 一 起 的 模型 . 将 通 传 算法 与 结构 化 神经 网 络 方法 要 结合 ,并 将 
其 用 于 识别 包装 件 缓冲 整 层 非 线性 特性 识别 问题 中 ,可 提高 网 络 训练 速度 ,减少 对 于 训练 参数 
的 人 为 于 预 , 增 大 搜索 空间 ,容易 得 到 全 局 最 优 解 , 从 而 使 得 结构 化 神经 阿 络 方法 更 适 于 实际 
应 用 . 
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首先 将 包装 件 简化 为 单 自 由 度 模 型 ,其 动力 学 方程 可 以 穹 为 ， 

7 和 十 过 十 &r 十 站 (六 ) 一 站 《3.7. 13)》 

式 中 ze 为 包装 容器 与 内 装 物质 重 ,c,k 分 别 为 缓冲 包装 材料 的 线性 了 町 尼 与 线性 刚度 系数 ,Fo 

为 包装 容器 在 实验 条 件 下 承受 的 激 振 力 , Kx) 为 关于 位 移 的 非 线 性 项 , 它 是 刻 划 缓冲 包装 材 

料 的 非 线性 特征 的 函数 . 
令 z 一 并 利用 后 退 欧 拉 公 式 ,可 将 (3.7. 11) 式 化 为 ， 

(2 十 1) 一 工 (D 十 Ai 

2 《ma) 一 ?3(z)》 十 AtLFGz) 一 cy(a)》 一 有 rCo]Aoe 《3.7. 14) 

3 十 ID) 二 3 (十 1) 一 A 区 CrzCa))ymr 

假定 缓冲 包装 材料 的 线性 特性 可 由 测量 或 数值 分 析 方法 获得 ,为 识别 系统 的 非 线性 特性 ， 
可 将 系统 分 为 线性 和 非 组 性 两 部 分 . 线性 网 络 可 以 通过 两 层 网 络 实现 ,其 连接 权 值 可 以 由 
《3. 7. 14) 式 前 两 式 直 接 获 得 : 非 线 性 网 络 用 来 识别 非 线性 特性 ,通过 三 层 网 络 实现 ,其 连接 权 
值 由 训练 获得 . 网 络 训练 阶段 的 目的 是 通过 调节 网 络 内 部 连 鞭 权 值 使 网 络 运算 结果 与 系统 实 
际 输 出 之 间 的 误差 达 最 小 . 采用 BP 算法 对 网 络 进行 说 练 , 由 于 BP 算法 在 训练 多 层 网 络 时 收 
敏 速度 较 慢 , 且 受 到 参数 选取 人 为 因素 过 多 的 限制 ,因此 果 用 将 遗传 算法 与 BP 算法 相 结合 的 
对 于 结构 化 神经 网 络 进行 训练 的 混合 方法 ,用 以 识别 缓冲 材料 的 非 线性 特性 . 

二 、GA 与 BP 相 结 合 的 混合 训练 方法 

踪 待 算法 和 人 工 神经 网 络 是 将 生物 学 原理 应 用 于 科学 研究 的 典型 方法 . 由 于 它们 极 强 的 
解决 问题 的 能 力 , 近 年 来 引起 了 众多 科研 人 员 和 工程 人 员 的 兴趣 和 参与 ,已 成 为 国内 外 学 术 界 
十 分 热门 的 研究 课题 . 由 于 GA 与 ANN 的 来 源 不 同 ,GA 是 从 自然 界 生物 进化 机 制 获得 启示 
的 ,而 ANN 则 是 基于 人 脑 神经 网 络 若 于 基本 特性 的 抽象 和 模拟 . 因此 ,它们 在 信息 处 理 方式 
上 上 存在 着 较 大 差异 近年 来 ,已 有 越 来 越 多 的 研究 人 员 尝试 荐 将 GA 与 ANN 相 结合 ,希望 充 
分 利用 两 者 的 长 处 ,以 找 出 一 种 有 效 的 解决 问题 的 方法 . 

已 有 的 研究 结果 表明 ,遗传 算法 在 早期 阶段 能 非常 迅速 地 收 人 敏 到 一 个 近似 解 . 但 由 于 GA 
技术 不 适宜 局 部 搜索 ,所 以 到 后 来 收敛 速度 明显 下 降 . 鉴于 此 ,使 用 一 种 将 遗传 算法 与 BP 算 
法 相 结 合 的 关于 结构 化 神经 网 络 的 混合 训练 方法 ,在 训练 初始 阶段 采用 GA 技术 ,然后 采用 
BP 算 法 来 训练 网 络 ,以 便 提高 整体 训练 速度 , 下 而 结合 训练 过 程 来 介绍 这 一 方法 . 

1 编码 与 群体 初始 化 

采用 实数 编码 方案 ,每 个 连接 权 值 直接 用 一 个 实数 表示 ,网 络 权 值 的 一 种 分 布 用 一 组 实数 
《 称 为 一 个 个 体 ) 来 表达 . 设 初始 群体 由 N 个 个 体 组 成 ,并 对 其 实施 单一 化 处 理 , 即 把 相同 的 个 
体 单一 化 ,不 允许 群体 中 有 若干 个 相间 个 体 出 现 . 

2. 透 应 度 函 数 的 确定 

适应 度 函 数 的 确定 方法 很 多 ,采用 


























CE) 一 ooe 一 已 《3.7.15) 
其 中 Eu 是 误差 画 数 的 可 能 最 天 值 ,误差 画 数 定义 为 ， 
已 一 久 > (7 一 到 。 3) 《3.7. 16) 


其 中 Ye 及 Yue 分 别 为 第 mm 个 训练 样本 的 第 下 个 输出 节点 的 实际 输出 与 期 望 输出 ,其 计算 过 程 
包括 以 下 几 步 。 
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《17 把 某 一 个 学 习 模 式 的 值 作为 输入 层 单元 的 输出 五 ,用 输入 层 到 隐 层 的 权 值 wy 和 中 亲 
慨 单元 的 羡 值 6 求 出 中 间 层 单元 ; 的 输出 瑟 : 
一 EC Wi 一 0) 《3.7.17) 


《27 用 中 间 层 的 输出 于 ,中间 层 到 输出 层 的 权 值 Vs 以 及 输出 层 单元 上 的 几 信 yx 求 出 输 
出 层 单 元 到 的 输出 : 


了 
到 一 ETVaE 一 六 ) 《3,. 7. 18) 


和 


其 中 为 隆 层 单元 的 数目 ;g 为 神经 元 的 激活 函数 , 取 为 ， 
1 一 e 产 
工 十 蜂 
《3) 由 学 习 模 式 的 教师 信号 和 输出 层 的 输出 得 到 第 m 个 样本 模式 的 第 上 个 节点 的 误差 


SCT) 一 〔《3. 7. 19) 


es 一 Ye 一 开 < (3.7. 20) 
面 
3 
如 (3.7. 16) 式 所 示 - 
3- 选择 继承 
评价 各 个 权 值 及 风 值 ,对 适应 度 为 F; 的 个 体 吴 子 其 选择 概率 请: 
如 一 Pi/ 妆 《3.7. 21) 
在 实际 训练 中 ,一 般 将 适应 应 度 最 大 的 个 体 直接 遗传 给 下 一 一 代 . 
4- 交叉 和 变异 


采用 实数 编码 时 ,以 变异 概率 p。 随机 地 改变 串 中 的 某 些 位 . 在 自 适应 遗传 算法 中 ,修正 
了 在 运用 交叉 和 变异 算 子 时 通常 所 使 用 的 方法 . 首先 , 若 新 一 代 的 最 佳 个 体 明显 不 优 于 前 一 代 
的 最 佳 个 体 , 则 将 交叉 概率 变 为 1. 因此 ,在 这 种 情况 下 ,新 一 代 中 每 一 个 体 都 要 执行 交叉 操 
作 - 其 次 ,变异 方法 不 再 是 通常 的 将 所 选 定 的 个 体 的 信 简 单 地 政变 为 茶 -一 新 的 随机 值 , 也 不 是 
灸 局 等 的 机 会 按 相同 的 比例 来 修正 所 选 定 的 个 体 的 当 简 信 . 

作为 对 于 变异 方法 的 改进 ,提出 了 一 种 自 适应 变异 操作 , 现 概述 如 下 ， 

设 忆 ,为 程序 运行 的 两 个 时 刻 ,E , 玉 分 别 为 对 应 于 如 ,ea 时 刻 的 最 佳 个 体 的 误差 函数 
值 ,定义 相对 误差 为 

互 = | 去 王 | (3.7. 22) 


设 所 选择 的 个 体 为 S, 它 的 第 : 位 发 生变 异 - 记 变 异 后 的 个 体 为 3 ,规定 其 变异 按 如 下 方式 进 
行 ， 
3 一 SG 十 Random(2) 9 (一 TATa) 《3.7. 23) 
其 中 
一 ， 当 Random(2) 一 0 


和 一 
工 当 Random(2) 一 工 
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工 为 选 代 次 数 ,T. 为 预先 规定 的 最 天 迁 代 次 数 ,Random 是 随机 数 生 成 器 . 为 了 胡 快 站 全速 
庆 , 同 时 采用 两 种 途径 来 控制 变异 强度 , 首先 是 在 选 代 的 前 一 阶段 取 较 大 的 变异 系数 一 习 ,而 
在 选 代 一 如 时 间 后 , 当 由 (3. 7. 22? 式 定义 的 相对 误差 连续 若干 次 下 降 不 明显 时 ,适当 减 小 变异 
系数 , 即 若 巴 <<eo 并 且 扎 一 二 十 To, 则 变异 系数 取 为 1 一 lz, 其 中 心 >la. 一 般 情况 下 ,ME 50.1， 
0. 3]. 取石 一 0.2 必 一 0. Tiee 和 T, 为 预先 设 定 的 常数 , 取 eo 一 0. 05,T 一 10. 除 此 之 外 ,变异 
强度 还 按 (3, ?- 23) 式 随 选 代 次 数 的 增加 而 逐渐 减 小 . 利用 这 种 方法 ,由 于 无 论 在 正 向 还 是 反 向 
上 ,个 体 的 值 的 改变 都 相对 较 小 ,而 且 变 异 强度 还 随 选 代 次 数 的 增加 而 逐渐 减 小 ,这 样 就 使 得 
在 遗传 算法 运行 后 期 ,变异 操作 丧失 较 好 的 染色 体 基因 这 一 问题 能 够 得 以 缓解 . 模拟 实验 结果 
表明 , 这 种 改进 的 自 适应 变异 操作 明显 优 于 定 步 长 变异 操作 ,其 收 伍 速 度 大 约 可 平均 提高 
10 乱 一 20 匈 . 

5. 重复 或 终止 

从 当前 父 代 和 子 代 的 各 种 取 值 中 重新 排序 选择 出 N 个 适应 度 值 较 高 的 个 体 作为 下 一 代 
的 样本 . 转 步 邓 2 重新 进行 训练 ,终止 条 件 为 群体 适应 度 趋 于 稳定 ,或 误差 小 于 某 一 给 定 值 ,或 
运算 已 达到 预定 的 进化 代数 . 

6. 遗传 算法 与 BP 算法 的 自 适 应 切换 

鉴于 遗传 算法 在 早期 阶 豚 能 非常 迅速 地 收 伍 到 一 近似 解 ,而 在 后 期 阶 颖 其 收 伍 速 度 明显 
下 降 这 一 特点 ,提出 了 一 种 在 训练 初始 阶 朋 采 用 GA 技术 ,然后 采用 BP 算法 来 训练 网 络 , 以 
便 提 高 整体 训练 速度 的 遗传 进化 神经 网 络 方法 . 在 算法 运行 过 程 中 将 遗传 算法 与 BP 算法 进 
行 自 适 应 切换 的 实施 方案 如 下 ， 

仍 采 用 由 《3. 7. 22) 式 定义 的 提 对 误差 若 相对 误差 连续 若干 次 下 降 不 明显 , 则 进行 遗传 算 
法 与 BP 算 法 的 切换 , 即 若 兢 <el 并 且 疡 一 拓 士 六, 则 跳出 遗传 算法 训练 过 程 , 进 人 BP 算法 训 
练 过 程 . 其 中 e 和 为 预先 设 定 的 常数 , 取 一 0, 01, 五 一 50. 

7. 执行 BP 算法 。 

此 处 略 去 BP 算法 的 热 行 步 又. BP 算法 的 运行 终止 条 件 为 误差 马 小 于 某 一 给 定 值 ,或 运 
算 已 达到 预定 的 迁 代 次 数 . 

为 进一步 说 明 遗 传 进 化 神经 网 络 方法 ,下 面 给 出 算法 的 流程 图 . 为 使 算法 流程 主要 走向 消 
晰 ,图 3. 42 中 仅 标 出 了 误差 画 数值 达到 指定 要 求 BE<<e 时 的 程序 运行 终止 出 口 ,其 中 。 为 预先 
设 定 的 正 的 小 数 . 

三 ,先例 

本 节 以 缓冲 包装 材料 中 常见 的 具有 三 次 非 线性 和 双 曲 正切 非 线性 的 情形 为 例 ,说 明 用 遗 
传 算法 进化 结构 化 神经 网 络 这 一 方法 对 于 典型 的 缓冲 包装 材料 非 线性 特性 识别 问题 的 有 效 
性 ,并 与 BP 算法 进行 了 比较 . 在 模拟 实验 中 首先 假设 非 线 住 项 p(z) 为 一 已 知 函数 ,由 数值 方 
法 获得 实验 数据 ,利用 这 些 数据 训练 网 络 ,然后 由 训练 好 的 网 络 识别 出 系统 的 非 线性 特 任 . 算 
例 中 取 激 振 力 Fo) 一 .Asin(3145，, 降 层 节 点 数 一 5, 群 体 规模 N 一 200. 最 大 选 代 次 数 T 一 
20000 ,变异 概率 刀 一 0. 1 ,初始 可 行 解 群体 由 随机 法 产生 ， 

筑 例 :假设 2(z) 一 总 妇 ， 即 为 三 次 非 线 性 型 . 选用 模拟 参数 c/mm 一 1000,&/mm 一 1.2X 
10 jar 一 10 [tm 一 5X104,At 一 0. 001 s. 采用 常规 BP 算法 , 取 训练 速率 1 一 0. 5, 惯 性 系 
数 x=0. 0, 经 过 650 次 训练 后 ,误差 小 于 0. 4. 采用 GA 进化 神经 阅 络 方法 ,经 过 350 次 训练 
后 ,误差 即 可 小 于 0, 4. 但 是 同时 经 过 3000 次 运算 后 ,采用 常规 BP 算法 ,误差 可 达 9. 007X 
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归 一 化 训练 数据 
并 输入 到 网 络 























图 3.42 遗 千 进 化 神经 网 络 混合 训练 流程 图 

10“, 面 采用 GA 进化 神经 网 络 方法 ,误差 仅 达 1. 442X10-:!. 由 此 例 可 见 , 采 用 GA 进化 神经 

网 络 方法 训练 在 早期 阶段 收 和 伍 速度 要 快 于 BP 算法 ,但 由 于 遗传 算法 不 适 帘 局 部 搜索 ,所 以 到 

后 来 反面 要 比 BP 算法 下 伍 得 慢 . 对 于 这 类 非 线性 特性 识别 问题 ,可 采用 在 讲 练 初始 阶段 利用 
进化 方法 ,然后 采用 HP 算法 的 混合 型 训练 方法 ,这 样 可 有 了 助 于 整体 训练 速度 的 提高 

算 例 2: 假 设 0(z) 一 ytanh(kzr/y), 即 为 双 曲 正切 非 线性 型 , 式 中 y 为 弹性 力 的 渐 近 值 . 许 

多 较 理 想 的 缓冲 材料 ,如 瓦楞 纸 、 蜂 窝 板 、 聚 本 乙烯 泡沫 塑料 等 ,都 具有 这 类 特性 . 选用 模拟 参 











数 为 :c/mr 一 40,&/m 一 1000,7 一 100, 太 /mr 一 250,At 一 0. 003 s. 采用 常规 BP 算法 , 取 训 练 速率 
9 一 0. 4 ,惯性 系数 < 一 0. 0, 经 过 600 次 训练 后 ,误差 小 于 1 1X10-, 采 用 进化 神经 网 络 混合 方 
法 ,经 过 600 次 训练 后 ,误差 可 小 于 1. 68 X 10. 训练 1000 隐 后 ,误差 可 达 9. 5X 10-5. 对 于 误 
善 等 于 9.5X10“ 的 情形 ,绘制 了 识别 出 的 非 线性 与 实际 非 线性 特性 的 比较 图 (图 3. 43)- 


非 线性 恢复 力 





押 3.43 非 线性 特性 识别 结 果 与 实际 值 比较 


由 图 3. 43 可 网 ,对 于 典型 的 非 线性 缓冲 包装 材料 模型 ,根据 进化 神经 网 络 混合 方 法 获得 
的 非 线性 特性 的 识别 结果 与 相 庶 的 实际 值 响 合 良好 . 
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8$3.8 自 透 应 线性 元 件 


自 适 应 线性 神经 元 (Adaline) 是 在 1961 年 由 斯 坦 钴 大 学 教授 允 indrow 提出 的 , 它 是 一 个 
自 适应 可 调 的 网 络 ,适用 于 信号 处 理 中 的 自 适应 滤波 、 预 测 和 模型 识别 . 构成 这 种 网 络 的 基本 
单元 Adaline 是 一 个 类 似 于 感知 器 单元 ,如 图 3. 44 所 示 , 如 在 第 下 时刻 ,有 向 量 z 输入 , 权 向 
量 为 内 ,此 时 有 模拟 输出 癌 + 天 一 内 x+ 及 二 进 制 输出 ge. 思 与 要 求 的 理想 响应 的 差 值 ,通过 














各 daline 








图 3. 44 Adaline 原理 图 
LMS 算法 ,修改 ww 为 werl, 从 而 减 小 了 % 与 理想 响应 的 误差 . 这 个 单元 的 输入 与 输出 关系 满 
足 : 


用 = > wza 一 入 《3. 8. 1) 
各 


人 笃 一 sgn(yt 《3. 8. 27 
总, 用 拓 R 6 为 半 值 ,如 使 处 一 wotyzo 一 1 那么 


有 一 > wata 《3.8. 3) 
气 


比较 (3. 8. 1) 式 与 (3. 8. 2? 式 ,其 差别 只 是 输出 分 为 模拟 和 数字 两 个 部 分 . 从 数字 部 分 看 ,与 感 
知 器 单元 完全 相同 , 它 可 进行 线性 分 割 , 从 模拟 输出 看 , 它 是 作为 误差 调节 之 用 ,对 单个 Ada- 
line, 其 误差 为 模拟 输出 和 要 求 响应 输出 之 差 ,也 为 模拟 量 . 用 LMS 算法 能 保证 这 种 网 络 在 自 
适应 学 习 时 的 收 伍 性 . Adaline 的 特点 是 可 以 根据 外 输 输 和 人 的 情况 和 要 求 的 响应 随时 学 习 , 十 
分 灵活 . 

一 \ 用 于 非 线性 分 割 的 自 适 应 网 络 

对 于 单 层 的 Adaline 网 络 , 由 于 它 的 形式 与 感知 赣 相 同 , 因 而 它 只 能 适用 于 一 种 线性 分 割 
的 情况 ,为 了 要 达到 非 线性 的 分 割 , 可 采用 下 列 两 种 方法 : 

01) 加 一 些 辅助 的 输入 单元 ,使 输入 向 量 王后 R" 变 为 xs 和 ERo+l, 这 ! 个 输入 单元 的 输入 是 
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xx 矢量 中 各 单元 zx 的 二 次 值 ,; 一 1,2,…:2. 如 在 两 维 的 情况 下 ,nm 一 2 ,我 们 加 上 三 个 辅助 输入 
节点 已 .Pa FF ,如 图 3.45(a) 所 示 , 便 其 太一 地，F 一 2atzaty 有 一 翁 . 这 样 我 们 得 到 其 输出 
及 为 

















了 一 > aouza 十 zatF 十 aaFs 十 zs 本 一 
全 


Too 十 Pit 十 Patroak 十 rpm zs 十 zs2 台 十 res mk 外 《3. 8. 47 
当 有 一 0 时 ,在 二 维 空间 上 的 分 界面 由 (3. 8. 4) 式 给 出 ,是 一 个 酉 圆 或 是 一 个 圆 ,可 以 通过 调节 权 
系数 来 达到 这 一 类 的 非 线 性 分 割 , 例 如 在 图 3. 45Cb 和 图 3. 45(c) 的 两 种 情况 ， 


-| 
ok 四 二 人 后 


了 
本 。。 四 用 本 加 分 界面 解 XOR 问 是 























(Ga) 非 线性 分 割 的 Adaiine 结 构 (e) 用 圆 分 界面 分 割 


图 3. 45 
当然 ,这 种 辅助 输 人 单元 的 网 络 将 会 因为 输 人 维 数 的 增加 , 其 辅助 输入 维 数 亦 增加 ,如 原 
来 输入 单元 维 数 为 "考虑 二 次 情况 , 辅 入 总 的 维 数 为 ， 


一 2 一 1)》 到 寺 3n 
2 十 G 人 一 2 十 文 3 一 一 全 


因而 增加 了 复杂 人 性 . - 

《2)Madaline 两 络 ,是 由 多 个 Adaline 单元 组 合成 的 多 层 阅 络 , 圆 3. 46(a) 为 两 个 Adaline 
和 一 个 与 门 组 合成 的 Madaline 网 络 ,多 个 Adaline 组 合成 的 多 层 两 络 如 瞻 3. 46(b) 所 示 , 图 中 
AD 是 表示 Adajine 的 符号 - 

它 的 非 线性 分 寡 与 多 层 感 知 器 一 样 ,如 输入 矢量 为 = 维 ,利用 组 合 很 多 的 x~-1 维 的 超越 
平面 来 实现 . 

二 、 多 层 Adaline 网 络 的 学 习 算 法 

多 层 Adaline 的 学 习 分 两 部 分 进行 , 先 利 用 MRII 的 算法 计算 出 每 一 层 的 辅 引 要 求 ,然后 
再 采用 单 层 的 LMS 法 来 完成 每 一 层 间 的 权 的 学 习 , 如 果 输 入 是 一 个 模拟 量 , 第 一 层 的 Ada- 
line 的 输出 是 两 个 量 , 一 是 模拟 量 > ,提供 给 LMS 算法 用 来 调整 该 层 的 输 人 权 , 另 一 是 数字 量 
和 ,是 输入 到 下 一 层 的 网 络 . 这 样 从 第 二 层 Adaline 开始 ,其 输 人 矢量 是 二 进 制 的 量 , MRII 算 
法 就 是 建立 在 这 些 二 进 制 量 的 基础 上 . 它 的 思想 是 :从 对 网 络 于 挑 最 小 的 二 进 制 输出 量 ,改变 
其 符号 ,如 改变 第 一 层 中 某 一 个 Adaline 输出 的 符号 ,( 从 十 1-> 一 1, 或 从 一 1 一 七 1) 观 察 其 总 
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(ajMadaline 结 构 《(b) 多 层 Madaline 网 络 


图 3. 46 ”Madaline 结构 和 多 朗 Madaline 疝 络 

的 网 络 的 输出 响应 和 要 求 的 值 之 间 的 误差 ,如 误差 减 小 ,就 确认 这 种 改变 , 若 误差 没有 减 小 , 则 
恢复 原来 符号 ,每 次 选中 的 Adaline 应 是 那些 模 氢 量 最 接近 0 的 单元 ,这 样 可 使 网 络 的 干扰 最 
小 . 、， 

这 样 我 们 可 以 列 出 MRII 的 学 习 步 又 : 

(1 初始 化 多 层 Adaline 网 络 中 的 权 , 用 一 个 随机 数 作为 各 个 权 的 初始 权 值 . 

(2) 输 入 一 个 样本 矢量 x 和 要 求 的 输出 用 式 (3.8. 1) 按 层 一 步 一 步 地 计算 出 实际 输 
出 ,并 求 出 要 求 的 输出 & 和 实际 输出 的 误差. 

3) 根据 最 小 干扰 的 原则 ,从 第 一 层 开始 , 找 第 一 层 中 神经 元 模拟 输出 最 接近 于 0 的 那个 
神经 元 ,让 它 输出 数字 重 改 变 符号 . 

《4)? 计 算 网 络 最 后 的 输出 和 要 求 响应 之 间 的 误差 ,如 果 误 差 减 小 , 则 这 种 改变 被 接受 ,如 设 
有 了 减 小 ,上 一 步 改变 的 输出 数字 量 的 符号 恢复 . 

55) 第 一 个 神经 元 训练 结束 后 , 转 人 下 一 个 神经 元 , 即 模拟 输出 第 二 个 接近 0 的 单元 , 仍 按 
上 面 的 规则 训练 - 

《6) 当 这 一 层 单个 神经 元 训练 完了 ,再 按 两 个 一 组 地 训练 ,然后 再 按 三 个 一 组 ,直到 输 
出 与 要 求 响应 之 间 的 距离 减 到 最 小 为 止 . 然后 用 同样 的 方法 训练 第 二 层 、 第 三 层 , 直 到 相同 量 
为 止 . 

《7) 另 一 个 新 的 样本 输 和 人 ,用 同 禅 方法 进行 训练 ,一 直到 达到 误差 最 小 为 止 . 

(8) 通 过 MRII 的 学 习 可 以 得 到 每 个 样本 输入 对 应 的 每 一 层 相 应 的 输出 ,从 面 对 每 一 单 层 
的 Adaline 可 以 用 LMS 算法 进行 学 习 , 得 到 全 部 权 的 解 . 

单 层 的 学 习 算法 如 下 ， 





一 已 
WCG 十 1) 一 mw 十 Ti (EDJXCD (3. 8. 5) 


这 里 ,wz 二 1) 为 w( 纺 的 下 一 个 时 刻 的 权 矢 量 ,x(5 为 当前 输入 样本 矢量 ,et 为 当前 的 误差- 
为 迭代 的 次 数 . 
如 果 <(5) 矢 量 的 分 量 为 士 1, 那 么 ‖zGz) ‖2 为 ; 
并 ze 上 一 每 介 十 戏 ( 昌 十 … 十 zt 人 (的 一头 十 1 
对 于 每 个 调节 周期 ,可 按照 (3. 8. 5 进行 调节 . 误差 e(6) 为 : 
E(nmo)》 一 红 ro7 一 TIK1o)rofzzo) 《3.8. 6) 
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当权 改变 时 ,其 误差 改变 为 ， 
Agf 丰 一 人 AL 区 站 一 荆 (9 芭 ( 间 了 一 一 2TKCDAw《 人 《3. 8.7》 
Am( 具 一 本 直上 二 1) 一 友 ( 切 一 Ca/ xD 于)e( 本 ( 菇 《3.8. 8) 
综合 (3. 8.7) 式 和 (3. 8. 8) 式 得 


As ETC 拉 








TeeCDxrGD 一 一 ee 人 《3.8.9) 


这 说 明 , 当 网 络 的 输入 不 变 时 ,误差 的 变化 缩小 当前 误差 的 们 ,选择 因子 可 以 控制 收 
妇 的 速度 和 稳定 性 ,a 太 大 ,误差 将 可 能 增 大 . 一 般 取 1.0>a>>0. 工 

三 \ 和 daiine 和 Madaline 的 应 用 

单个 Adaline, 作 为 调节 单元 可 以 形成 一 个 自 适应 滤波 器 ,用 于 信号 处 理 . 图 3. 47 是 一 个 
Adaline 单 元 , 它 的 输 和 人 构成 一 个 随时 间 变 化 的 蒂 号 ,输入 的 信号 通过 延迟 得 到 mr- ze- 
! 为 延迟 器 的 最 大 数目 ,它们 是 通过 对 输入 信和 号 的 采样 而 得 到 药 . 因为 信 叶 随时 间 变 化 ,因而 
当前 采样 值 为 zx 在 Adaline 的 输入 端 分 别 为 zy zt- …zro 下 一 时 刻 为 ztriyzay…， 
Ze-an yzi+l 为 当前 时 刻 ,za-sl 为 延迟 了 个 节拍 后 的 采样 值 , 即 上 :个 节拍 前 的 采样 值 . Ada- 
line 网 络 输入 ! 十 1 维 的 变化 的 信号 . 自 适应 滤波 的 目的 是 通过 要 求 的 响应 和 实际 输出 的 误 
差 , 调 节 其 权 而 达到 对 输入 信号 滤波 的 目的 ( 见 图 3. 48). 
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延 巡 







































LMS 三 -GE- 
央 涉 波 信号 给 出 
要 求 响应 
图 3.47 Adaiine 组 成 的 自 适应 涯 波 器 
系统 输入 一 -| 求知 系统 系统 输出 

















图 3.48 用 自 适应 小 波 和 进 行 球 模 的 模 围 





8$3.9 径 向 基 函 数 神 经 网 络 


除 上 面 讲 的 作用 邓 数 用 Sigmoid 函数 的 网 络 外 还 有 一 种 常用 的 网 络 , 即 径 向 基 冰 数 网 络 . 
下 面 我 们 从 几 方 而 来 了 解 这 种 函数 网 络 - 
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3.9.1 网 络 结构 


径 向 基 函 数 神经 网 络 结构 见 图 3- 49 所 示 , 它 只 有 一 个 隆 层 ,输出 单元 是 线性 求 和 单元 , 即 
输出 是 各 隐 单 元 的 加 权 求 和 . 隐 单 元 的 转移 函数 用 径 疝 基 函 数 《Radial Basis Function,RBF)， 
输 人 单元 和 隐 单 元 的 连接 权 值 固定 为 1, 只 有 降 单 元 和 输出 单元 的 连接 权 值 为 可 调 . 





图 3.49 径 疝 短 函 数 挤 经 网 络 绩 构 

可 以 把 RBF 看 成 对 未 知 函 数 F(z) 的 逼近 器 ,一 般 任 何 函 数 都 可 以 表示 成 一 组 基 画 数 的 
加 权 各 ,这 相当 于 选择 各 隐 单 元 的 作用 函 数 构成 一 组 基 画 数 用 于 近似 F(z). 由 模式 识别 理论 
可 知 ,在 低 维 空间 非 线性 可 分 问题 总 可 以 喘 射 到 一 个 高 维 空间 ,使 其 在 高 维 空间 中 为 线性 可 
分 .在 BRF 网 络 中 ,输入 单元 到 隐 单 元 的 映射 为 非 线性 的 ( 隐 单 元 的 转移 函数 为 非 线性 的 ) ,而 
降 单 元 到 输出 单元 则 是 线性 的 . 因 面 可 以 把 输出 单元 部 分 看 做 一 个 单 层 感知 器 ,这 样 , 只 要 适 
当选 择 攻 单元 数 ( 高 维 空间 的 维 数 ) 及 其 作用 薄 数 ,就 可 以 把 原来 的 问题 喘 射 为 一 个 线性 可 分 
问题 ,从 面 可 用 一 个 线性 单元 解决 问题 . 


3.9.2 网 结算 式 及 参数 


最 常用 的 径 向 基 函 数 形式 为 高 斯 函数 , 它 的 可 调 参 数 肥 两 个 , 即 中 心 位 置 及 方差 多 阔 数 
的 宽度 参数 ) ,用 这 类 函数 时 整个 网 络 的 可 调 参数 ( 待 训练 的 参数 ) 有 三 组 , 即 各 基 函 数 的 中 心 
位 置 .方差 和 输出 单元 的 权 值 . 通常 选择 隐居 的 节点 数 为 庆 练 样本 个 数 ,每 个 节点 都 有 一 个 径 
向 基 函 数 的 中 心 向 量 , 该 中 心 向 量 即 为 训练 样本 的 输 和 向量. 
Cr 一 | CmyCre erCm | 五 一 12N 《3. 9. 开 ) 
隐 节 点 的 净 输 人 定义 为 输 和 人 模式 天 与 隐 节 点 的 径 向 基 画 数 中 心 向 量 间 的 欧 氏 距离 , 即 : 


3 一 有 并 一 Ce 和 一 (一 Co) 下 一 1 2 N 《3.9.2) 
各 
隐 层 节点 的 转移 函数 为 Gauss 函数 
JF(z) 一 exp( 一 导 /6) 一 exp( 一 号 / 抱 (3.9.3) 


Gauss 函数 其 形状 见 图 3. 50 所 示 , 其 中 参数 状 控制 钟 形 高 斯 曲线 宽度 的 作用 , 隐 层 节点 
的 输出 Zx 一 .F(ss7) 代 表 着 输 和 人 模式 离开 该 隐 节 点 所 代表 的 径 向 基于 数 中 心 的 程度 . 输出 层 节 
点 数 为 输出 向 量 的 维 数 ,节点 了 的 输出 为 : 
咏 一 症 ua 一 了 《3.9.4) 
式 中 
责 ) = [aaaw]， 了 = [aasmwyzw] (3. 9.5) 
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图 3.$0 Ganss 务 数 
RBF 网 络 的 中 心 向 量 和 权 值 均 由 学 习 样 本 来 确定 , 因 输 出 单元 是 线性 单元 ,所 以 它 的 权 
值 可 以 用 最 小 二 乘法 直接 计算 出 来 . 因此 ,设计 一 个 RBF 网 络 时 只 有 一 个 参数 总 需要 调整 , 即 
高 斯 函数 中 的 平滑 因子 5, 它 控制 着 高 斯 曲线 钟 形 的 宽度 . 
RBF 网 络 的 中 心 向 量 . 平 滑 因子 如 和 权 值 w 也 可 由 BP 算法 学 习 训练 得 到 . 
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84.1 概 述 


4.11 前 合 凶 与 反馈 多 挤 经 网 络 的 比较 


前 馈 开 与 反馈 型 神经 网 络 的 比较 如 下 ， 

《17 前 馈 型 神经 网 络 取 离 散 或 连续 变量 ,一般 不 考虑 输入 和 输出 之 间 的 延迟 ,只 表达 输入 
输出 之 间 的 映射 关系 . 反 合 型 神经 网 络 也 可 取 离 散 或 连续 变量 ,但 是 ,考虑 输入 输出 之 间 在 时 
间 上 的 延迟 ,因此 ,需要 用 动态 方程 来 描述 . 前 镇 型 神经 网 络 仅 实现 非 线性 映射 ,而 反馈 型 神经 
网 络 是 一 个 非 线性 动力 学 系统 - 

《27 前 钙 型 搞 经 网 络 的 学 习 训 练 主要 采用 BP 算法 ,计算 过 程 和 收 伍 速 度 比较 慢 , 而 反 镇 


型 神经 网 络 的 学 习 主要 采用 Hebb 规则 ,一 般 情 况 下 计算 的 收敛 速度 很 快 ,并 且 它 与 电子 电路 
有 明显 的 对 应 关系 ,使 得 网 络 易 子 用 硬件 实现 . 


《3) 前 镇 型 神经 网 络 学 习 训练 的 目的 是 快速 收 伍 ,一 般 用 误差 函数 来 判定 其 收敛 程度 , 反 
馈 型 神经 网 络 的 学 习 目 的 是 快速 寻找 到 稳定 点 ,一 般 用 能 量 函 数 来 判别 是 否 趋 于 稳定 点 . 

“4 两 者 都 有 局 部 极 小 问题 . 
4.12 反馈 凶 换 经 网 络 模型 


一 、 网 络 结构 


反 司 型 神经 网 络 的 结构 如 疼 4. 1 所 示 , 首 先 考虑 单 层 全 反锁 型 网 络 , 这 种 网 络 的 每 个 节点 
的 输出 都 和 其 他 的 节点 的 输入 相连 ,输入 输出 关系 为 : 


区 六 区 






































而 天 和 
图 4.1 单 层 全 反馈 型 神经 网 络 结构 
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咏 一 Fa) 一 扰 2 人 十 了 一 9)， 了 一 1)2， 《1.1) 
各 


二 、 网 络 状态 

对 
矢量 为 了 Cn ooD EE 习 ,可 以 用 XCGD 和 Yo) 来 表示 网 络 的 状态 . 由 YCD 可 以 得 下 一 时 刻 的 
CT) 而 发 11 又 引起 YC 十 1 的 变化 ,这 种 不 断 的 反 蚀 演化 过 程 ,使 得 状态 矢量 导 t) 随 时 间 变 
化 . 在 一 个 ” 维 的 状态 空间 上 ,状态 的 变化 过 程 可 以 用 一 条 各 速 来 描述 ,从 初始 状态 茂 ) 出 发 ,Ka 
十 Ab 一时 十 2A0 一 时 ( 十 mAt)-…, 这 些 在 空间 上 的 点 所 确定 的 罗 迹 , 是 演化 过 程 中 所 有 可 
能 状态 的 集合 ,并 称 为 状态 空间 

对 于 不 同 的 权 值 ws 和 输 和 人 Li 一 1,2,…,m) ,网 络 的 状态 轨迹 可 能 出 现 以 下 几 种 情况 ， 

(9b 雪 迹 经 过 一 毁 时 间 KE>0) 后 不 会 再 延 伟 , 丽 永 远 停留 在 (an 十 纺 状 态 , 这 时 称 网 络 收 敏 
到 一 个 稳定 点 或 平衡 点 . 由 于 互 (5 十 纺 不 再 变化 ,所 以 相对 应 的 Ya 十 纺 也 达到 了 稳定 值 . 对 于 非 
线性 系统 来 说 ,不 同 的 初始 状态 发 (%) ,可 能 会 有 不 同 的 轨迹 ,到 达 不 同 的 稳定 点 . 在 一 个 反馈 网 
络 中 ,可 能 存在 有 多 个 稳定 点 ,根据 不 同 的 情况 ,这 些 稳定 点 可 分 为 ， 

四 渐 近 稳定 点 总. 如果 在 稳定 点 所 周围 的 (Co 区 域内 ,从 任 一 初 态 Ka 出 发 ， 当 = co 
时 都 收 敏 于 基 . 这 样 它 下 仅 存在 一 个 稳定 点 X ,而 且 存在 一 个 稳定 区 城 ,有 时 也 称 这 个 稳定 点 
为 吸引 子 ,对 应 的 稳定 区 域 称 为 吸引 域 . 

加 不 稳定 的 平衡 点 X/r. 在 革 些 特定 的 轨迹 演化 过 程 中 ,能 够 使 网 络 达到 稳定 点 忆 / , 但 是 
对 玉 阁 的 其 他 方向 上 ,如 果 有 一 个 小 的 区 域 x(c) ,不 管 sa) 取 多 么 少 : 其 轨迹 在 时 间 : 以 后 总 
是 信 训 
，” 售 网 络 的 解 ， 如 果 网 络 最 终 稳 宇 在 设计 人 员 记 期 望 的 稳定 碾 上 ， 而 且 该 多 定点 又 是 浙 进 稳 
证 点 ,那么 这 个 稳定 点 就 是 网 络 的 解 
”二 网 绍 的 伪 稳 定点 ; 如 果 网 路 最 终 稳定 在 一 个 渐进 稳 僚 点 上 ,但 是 让 个 稳定 发 不 征 现 络 设 
计 所 要 求 的 解 , 则 这 个 稳定 点 为 伪 稳定 点 - 
.在 一 个 非 线性 反馈 的 网 络 系统 中 存在 着 不 同类 别 的 稳定 点 ， 而 网 络 设计 讽 目 的 是 希望 网 
络 能 稳定 在 所 要 过 的 稳定 点 上 ,并 且 还 要 有 一 定 的 稳定 域 、 

(2 轨迹 为 环 状 , 称 为 极限 环 . 在 某 些 参数 条 件 下 ,X( 纪 的 姐 迹 可 能 是 一 二 国 或 为 一 个 
环 ,状态 X(t) 沿 环 重复 旋转 ,永远 不 会 停止 ,这 时 Y(2) 也 出 现 周 期 性 变化 ,说 轩 系 统 产 生 了 振 
殴 - 如 果 轨 的 变化 是 在 在 两 种 状态 下 折 痪 ,其 诉 限 环 为 2, 如 果 在 m 种 状态 下 振 葛 , 其 极限 环 
为 其 。 
”3) 疝 果 X(oD 的 辆 攀 在 某 个 确定 的 范围 内 变化 ,但 既 不 重复 叉 不 绥 停 下 来 ， 捧 态 变化 为 天 
上 多 证 ;而 轨迹 也 不 发 散 到 无 穷 远 ,这 种 现象 成 为 混 印 (Chaos ? 

(4) 如 果 X( 芒 的 轨迹 随时 间 一 直 延 伸 到 无 穷 远 ,此 时 状态 发 散 ,而 系统 的 输出 也 发 获 . 但 
-是 在 神经 网 络 中 ; 输 人 输出 关系 为 一 个 有 界 郊 数 ， 虽然 状态 是 发 和 的 ， :得 是 其 昌 YK 过 是 有 
界 的 ,而 Y( 芒 的 有 办 性 又 限制 了 状态 的 发 散 . 

对 于 = 个 神经 元 组 成 的 反馈 系统 ,它们 的 行为 是 由 这 些 状态 轨 迁 所 次 定 的 , 镍 放 神 经 网 络 
是 四 第 一 种 情况 来 解决 某 些 问题 ,如 果 把 系统 的 稳定 点 作为 一 个 记忆 的 语 ;那么 大 官 态 朝 这 个 
稳定 点 流动 的 过 程 就 是 寻 纱 记忆 的 过 程 . 初 态 可 以 看 钱 是 给 出 的 部 分 记忆 信息 ,状态 导 (D 流 
动 的 过 程 是 从 部 分 信息 寻找 全 部 信息 ,这 就 是 联想 记忆 的 过 程 . 如 果 把 系统 的 稳定 点 考虑 为 一 

















F 有 ?个 节点 组 成 的 反馈 网 络 ,在 某 一 时 刻 志 其 状态 矢量 为 发 一 (mn mx) ER 输出 
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个 能 量 函 数 的 极 小 点 ,在 状态 空间 中 , 从 初 态 忌 (z) 一 X(Cb 十 轴 ,最 后 达到 古 " ,车 于 "为 稳定 
点 , 则 可 以 看 做 是 到 " 把 Xp 吸引 过 来 . 在 必 (z) 能 量 较 大 ,而 吸引 到 X "能 量 比 较 小 了 ,那么 
能 量 的 航 小 点 就 可 以 作为 一 个 优化 目标 函数 的 极 小 点 ,状态 变化 的 过 程 就 是 优化 一 个 目标 函 
数 的 过 程 . 因此 反馈 网 络 的 状态 流动 就 是 一 种 联想 记忆 或 优化 的 过 程 , 如 果 适 当选 择 连 接 权 值 
就 可 以 达到 这 个 目的 . 

三 、 网 络 的 设计 有 要求 

对 反馈 型 神经 网 络 的 权 值 和 阔 值 的 设计 需要 考虑 以 下 三 个 方面 

(1 网 络 的 稳定 性 , 要 求 网 络 系统 能 够 达到 稳定 收敛 ,避免 出 现 振荡 和 混沌 现象 . 

《2) 阅 络 的 稳定 点 . 一 个 非 线性 网 络 可 能 有 多 个 稳定 点 , 权 值 的 设计 要 求 某 些 稳定 点 是 所 
要 求 的 解 . 对 于 联想 记 亿 的 网 络 ,希望 每 个 稳定 点 都 是 一 个 记忆 ,那么 记 所 容量 就 和 稳定 点 的 
数量 有 关 , 和 希望 记忆 的 量 越 大 ,就 要 求 稳定 点 的 数 越 多 . 但 是 稳定 点 的 数目 越 多 ,会 引起 吸引 城 
的 减 小 ,从 而 使 联想 记忆 功能 减弱 . 另外 ,能 量 冰 数 往往 只 有 一 个 全 局 最 小 点 ,那么 稳定 点 越 
多 , 陷 人 局 部 极 小 的 可 能 性 越 高 - 

3) 稳定 点 的 吸引 域 , 使 期 望 解 的 吸引 域 忌 可 能 大 ,而 非 期 望 解 的 吸引 域 尽 可 能 小 . 





84.2 离散 型 Hopfield 神经 网 络 


美国 加 州 工学 院 物理 学 家 Hopfield 丁丁 提出 的 一 种 现 络 , 称 为 Hopfieid 网 络 C(Hopfield 
Neural Network ,简称 HNN). HNN 是 目前 研究 最 充分 .应 用 最 广泛 的 反馈 型 神经 网 络 模型 . 
Hopfield 将 能 量 函 数 的 概念 引 人 分 析 反 馈 型 神 每 网 络 的 稳定 过 程 ,使 得 网 络 运行 的 稳定 性 判 
断 有 了 可 靠 的 依据 . 由 于 HNN 与 电子 电路 存在 明显 前 对 应 关系 ,其 易于 用 硬件 实现 ,为 神经 
网 络 计算 机 的 研究 开发 葛 定 了 基础 . 同时 ,HNN 也 开辟 了 神经 网 络 应 用 于 联想 记忆 积 优 化 计 
算 的 新 领域 . ， 、 

HNN 又 分 为 两 种 模 甬 ,一 种 是 离散 的 随机 模型 , 称 为 离散 型 Hopfield 持 经 网 络 (Discrete 
Hopfield Neural Network ,简称 DHNIN) : 另 一 种 是 连续 模型 , 称 为 连续 型 Hopfield 神经 网 络 
《Continuous Hopfield Neural Network, 简 称 CHNND).。 ” 





4.2.1 离散 型 Hopfield 神经 阅 络 模型 下 


一 ,网 络 半 构 

离散 型 下 opfield 神经 网 络 CDHNIN) 是 一 个 离散 的 时 间 系 统 , 它 可 必用 一 个 加 权 的 无 向 图 
表示 ,图 的 每 一 个 边 都 附 有 一 个 权 值 ,图 的 每 一 个 节点 都 有 一 个 闭 值 ,网 络 的 阶 数 相应 于 图 中 
的 节点 数 ， . 

PHNN 的 结构 见 图 4. 1 所 示 , 这 是 一 个 单 层 结构 的 全 反馈 网 络 , 有 :个 节点 ,最 一 个 n 
X 的 对 称 零 对 角 权 值 矩阵 ,8 为” 维 阔 值 襄 量 . 每 个 节点 可 处 于 两 个 可 能 的 状态 之 一 , 即 1 或 
一 1. 假设 各 节点 的 外 加 输入 了 一 0,i 一 12 令 Xi 办 表示 : 寻 刻 节点 主 的 状态 , 则 节点 
的 下 一 个 状态 由 下 面 算 式 决 定 : 

卫 了 CD 20 


忆 人 十 1)》 一 《五 :(b) 一 4. 2- 
sgni -1 RHcp<oe 《4. 2- 1) 
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于 (人 一 癌 (一 入 《4.2.2) 
全 
阅 络 的 状态 向 量 为 素 (办 后 {1 ,一 1) 且 ws 一 0 一 1 2 
二 、 网 络 的 工作 方式 
1. 串 行 (异步 ) 工 作 方 式 
任 一 时 刻 二 只 有 某 一 个 节点 并 随机 地 或 确定 性 地 选择 ) 依 据 (4.2.1) 和 (4. 2.2) 式 变化 ， 
而 其 余 = 一 1 个 节点 的 状态 保持 不 变 , 即 ， 
Xitt 十 上 +)》 一 SgnC 瑟 六 的) 
Xi 十 1) 一 已 Cr)， VY5 天 





《4. 2. 3》 


2. 并 行 5 同步 ) 工 作 方 式 
任 一 时 刻意 所 有 的 节点 都 依据 式 (4 2. 1) 和 (4. 2. 2 改变 状态 , 即 


和 十 1) 一 sgnC anXi(D 一 和 7)， Vi (4. 2. 4) 
| 
三 、 网 络 的 状态 
若 网 络 从 一 个 初 态 忌 (z) 出 发 ,经 过 一 个 有 限时 刻 *, 网 络 的 状态 不 再 发 生变 化 , 即 ， 
Cn 十 上 十 At) 一 在 (te 十 臣 ， At>0 《4- 2- 5) 


则 称 网 络 是 稳定 的 ,这 时 所 有 的 节点 输出 不 再 变化 ,网 络 稳定 在 某 一 状态 - 
串 行 方式 的 稳定 性 称 为 网 络 串 行 稳定 性 ,并 行 方式 的 稳定 性 称 为 网 络 的 并 行 稳定 性 . 


42.2 网 络 的 稳定 性 定理 


一 个 离散 型 Hopfield 神经 网 络 可 能 有 一 个 稳定 点 ,或 者 有 多 个 稳定 点 ,也 可 能 没有 稳定 点 ,其 
中 有 些 即 使 是 新 进 稳定 点 ,只 要 存在 一 个 极限 环 , 此 网络 就 不 可 避免 地 在 某 时 刻 会 出 现 振 葛 . 对 于 
一 个 离散 型 反馈 网 络 ,如 何 依据 一 个 解析 判 据 来 分 析 其 稳定 性 ,是 本 节 的 研究 内 容 . 

首先 ,引用 铁 磁 材料 中 的 哈密 顿 函数 的 形式 来 定义 一 个 离 表 型 反馈 网 络 的 能 量 函 数 . 在 铁 
磁 材 料 中 , 铁 磁 分 子 的 自 旋 只 有 两 个 方向 , 记 为 已 E{ 一 1,1)i1,2, ,2 这 种 材料 中 的 险 
审 顿 函数 为 ， 人 




















rip an 人 


其 中 , 力 表 示 第 个 分 子 与 第 记 个 分 于 之 间 的 作用 ， 且 万 一 太 * 醒 ， 是 外 各 的 随机 杨 ， 闽 个 物质 
的 相互 作用 结果 是 使 哈密 顿 函 数 五 达到 最 小 . 
由 于 离散 型 Hopfield 神经 网 络 的 状态 值 也 是 二 值 量 ,而 相互 作用 由 权 值 -wy 来 表示 ,外 加 
输 和 人 为 天 ,所 以 Hopfield 定义 了 一 个 网 络 的 能 量 函 数 : 
刁 一 一 序 习 了 woXX 一 并 TiX， (4.2.77 
由 于 XXX 只 可 能 为 1 或 者 为 一 1*ww \ 工 有 界 导 一 1,2，……ms* 所 以 能 量 函 数 马 也 是 有 界 
的 ， 、 


1 瑟 | 委 言 于 思辩 贞 王 11I 和 1= 
于 允 忆 ww 瑟 1 (4. 2.87 


.90 ， 计 算 逢 能 


阅 络 从 任 一 状态 开始 ,车 在 每 次 迭代 中 都 能 满足 AE<0, 那 么 网 络 的 能 量 将 会 越 来 越 小 ， 
最 后 趋 于 稳定 点 CE-0). 其 物理 意义 是 ,在 那些 渐进 稳定 点 的 吸引 域内 , 当 状 态 离 肥 引子 越 
远 ,其 能 量 越 大 , 当 状态 接近 于 稳定 点 时 ,其 能 量 越 小 . 而 能 量 函数 的 单调 下 降 , 说 明 状态 的 迁 
移 是 从 远离 吸引 于 到 逐渐 接近 吸引 子 , 最 后 使 网 络 达到 稳定 - 
一 、 束 行 方式 
定理 4.1 当 网 络 工作 在 串 行 方式 下 , 满 足 ww 一 wz ,es 一 0ij 一 1,2，o 册 能 量 函 数 
单调 下 降 , 且 网 络 必定 稳定 . ， 
证 明 :对 于 DHNN 网 络 的 任 一 个 节点 它 的 输出 变化 可 能 为 : 
OO CE 十 1)》 一 羽 攻 纺 
和 一 已 人 十 二 一 天 民 英 -| 人 十 1 一 工 瑟 (一 一 1 《4 2.9) 
一 2 和 人 十 切 一 一 二 和 人 一 1 
根据 串 行 方式 的 定义 ,每 个 时 刻 只 有 一 个 节点 发 生变 化 ,车 第 ;个 节点 变化 ,而 其 他 的 节 
点 不 变 ,根据 公式 (4. 2.7) 可 得 ， 
AE = 一 本 去 宫 wx (DA 一 到 2 《DAXI 一 TAN 


2 入; 


因为 
一 7 一 0 
斯 以 
AE 一 一 ( 半 conXi 人 十 五 )AX 一 一 后 (DAX: 《4.2, 10) 
1 
因为 
人 十 1 尝 SERKC( 芒 )， ANXE 一 和 人 十 1 一 和 
因此 


当 再 (之 0 时 ，AX: 之 0，AE< 委 0 
当 瑟 ( 儿 二 0 时 ，A 丰 委 0，AE0 
所 以 网 络 无 论 在 什么 条 件 下 都 能 保证 AE<<0， 这 样 就 保证 了 网 络 的 各 定性 和 收 全 性。 
定理 4.2 当 网 络 工作 在 行 方式 下 ,满足 由 一 zw ,>>0iJj 一 1,2,…，2, 则 能 量 函 数 
单调 下 降 , 且 网 络 必定 稳定 . 
证 明 : 对 子 DHNN 网 络 的 第 ; 个 节点 发 生变 化 ,因为 mu 了 >" 列 ， 


， 全 一 一 赤 呈 ws AIKDAX: 一 到 六 wax 一 
weATD 一 丰 O] 一 Ta = 


， (4.2. 11) 
一 ( 官 rz 十 JIAXI 一 auAXXCE 十 1) 一 
如 


一 再:(CDAXi 一 waAXXEC 十 1) 
由 子 ws>>0, 且 AX: 与 Xi( 十 1) 是 同 号 的 , 即 能 保证 AE<0, 这 样 就 保证 了 网 络 的 稳定 性 
和 收敛 性 - 
二 、 并 行 方式 
定理 4 3 当 网 络 工作 在 并 行 方式 下 ,满足 ww 一 zux , 则 网 络 或 者 收 倒 于 一 个 稳定 点 ,或 者 
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收敛 于 极限 环 为 2 的 一 个 周期 解 ， 
证 明 :在 并 行 工作 方式 时 ,其 能 量 函 数 可 以 用 下 式 表示 ， 


巨 一 一 二 史 员 wo 和 GD 和 GD 一 去 习 0( 宫 GD 十 着 4 二 1D) 
四 


可 以 写成 矩阵 的 形式 
已 = 一 二 2TG 上 DCCD 一 去 CXC 二 ID 十 X(OD] 


AE= 一 二 2rG 二 DTWXCD 一 到 r[xc+D 二 XCD] 十 


二 CDWXG 一 DT 村 XGOTXGC-D]= 


。91 - 





一 去 CCOW]LXG 士 D 一 Xe 一 D] 号 FrCXCG 十 D) 一 XGt- 


一 去 [CCDW+ECXGTD 一 KG 一 D] 一 


《4. 2. 12) 
(4. 2. 13) 
天 和 Roy ERooi 了 ER" 
1) 了 
(4. 2. 147 


一 去 LHCDJ[XG 上 D 一 G 一 1 


由 于 在 瑟 ( 上 中 的 每 个 分 量 再 () 与 在 XCt 上 1) 中 每 个 分 量 Xi 十 1) 同 号 ,因而 “ 


LED 下 [XC 十 17 一 于 (一 1 门 0 
所 以 AE 委 0. 现在 考虑 在 稳定 点 的 情况 , 即 AE 一 0 的 情况 : 
若 太一 XCt 十 1) 一 XCt 一 1), 则 AE 一 0, 旦 网 络 达到 稳定 
若 鼠 ( 四 短 (zt 十 1) 一 zt 一 1), 则 AE 一 0, 且 网 络 到 达 局 期 为 2 的 极限 环 . 
证 毕 ， 
推论 :(1) 如 果 钱 为 一 个 正定 矩阵 ,一 0, 对 所 有 的 ;成立 , 则 : 
筷 人 十 1)7 一 下 ( 
天 (十 1)》 一 sgngWW 和 人)) 一 飞 ( 捷 
网 络 必定 达到 稳定 收 敏 . 
《2 如 果 研 为 一 个 负 定 矩阵 ,五 一 0, 对 所 有 的 成 立 , 则 : 
左 ( 十 1) 关 sng(FX(I)》 一 一 下 ( 菇 
真人 十 1) 一 一 KCD 一 和 XG 一 切 
网 络 周期 振 范 , 极限 环 为 2. 


4.2.3 网络 权 值 的 学 习 
一 、 外 积 型 网 络 权 值 的 学 习 方法 


外 积 型 网 络 权 值 的 学 习 方 法 使 用 Hebb 规则 来 调整 网 络 的 权 值 . 网 络 待 记忆 的 学 习 样 本 
有 六 个 ,于 玫 一 2 ER 其 每 个 分 量 为 XF 一 1,2，…yz 利 用 已 知 需 要 存储 的 


样本 来 设计 = 个 节点 则 的 连接 权 值 ,如 节点 和 六 间 的 连接 权 信 为 ; 
七 一 XXX 请 


1 


ug 一 0， 主 一 了 


《4,. 2. 15) 


.92 。 计 算 智 能 








其 中 为 一 个 正常 数 ,初始 化 时 ww 一 0, 当 每 输 人 一 个 样本 时 ,在 权 值 上 加 修正 晤 , 即 赂 二 邮 十 
ay , 当 第 天 个 样本 千 和 装 同 时 兴奋 或 同时 抑制 时 ,aXYXY 0 当知 和 千 一 个 兴奋 一 
个 抑制 时 ,aztX<0. 用 Hebb 规则 修正 权 值 可 以 满足 ww 一 几 的 条 件 , 从 而 使 得 网 络 在 串 行 工 








作 方式 时 保证 收敛, 在 并 行 工作 时 系统 或 者 收敛, 或 者 出 现 极限 环 为 2 的 振荡 . 











把 公式 (4. 2. 15) 写 成 矩阵 的 形式 , 取 s 一 1, 对 于 需要 记忆 的 样本 Xr ,区 一 1,2,…N, 权 值 


为 : 
nr 
er 
古 一 [到 和 和 | -NT= 
本 
1 0 
涪 姑 1 
O 
利和 
1 1 了 了 1 2 : 1 
人 
0 .0 
闪 且 只 ， 
DCXED2 31XYXE XIRY 
KR R KE 1I1.0 …% … 0 
电 六 以 0 1 -- 了 
XXX “ 
KE=1 K Ke1 一 人 1 了 
工 人 0 
XSXE 加 交 3 ? 2 1 
人 | 
由 于 
允 和 
CCX2 一 (RS 一 OK)2 一 和 
知 | 经 
这 里 ,C 是 一 个 单位 托 阵 . 所 以 
内 
0 XXX 六 XEXE 
| 大 
内 
区 0 
镍 -| 癖 奏 半 _ 
~ ， > XXX XE 0 
| 


因此 ,Hebb 规则 能 够 满足 ws 一 0，au 一 zw 的 条 件 ,网 络 能 够 收敛 于 稳定 点 ， 
二 、 稳 定点 的 讨论 


《4 2..16) 





《1) 如 果 待 记忆 的 样本 是 两 两 正 交 , 即 对 于 样本 X , 民 一 1,2，…，N,X 和 为 大 K 中 的 任意 


两 个 不 同 的 样本 , 且 满 足 [ 六 FE] 一 0 天) 对 所 有 的 ;和 7 成 立 。 
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在 节点 的 输出 为 巧 E {1* 一 1} 的 情况 下 : 当 二 个 维 样本 向 量 的 各 个 分 量 中 有 和 个 是 相 


局 的 ,男生 个 是 相反 的 ， 就 能 满足 这 两 个 向 量 正 交 . 用 上 面 的 外 积 法 所 得 到 的 权 值 进行 选 代 计 





算 ,在 输入 样本 中 任 取 一 个 样本 不作 为 初始 输入 ,可 得 : 
TXT 
er 


TY 一 [生生 一 NOXE 一 


[和 和 ,KEN] 





TY 一 NE 一 人 一 人 DGE 
只 要 满足 " 盖 信 , 则 sgnLWXAX] 一 夺 , 则 为 网 络 的 一 个 稳定 点 . 


《4. 2 17) 


(022 如果 六 个 样本 X“ ,K 一 1,2，，N, 不 是 两 两 正 交 , 其 连接 权 值 依据 Hebb 规则 求 得 ， 


在 六 个 样本 中 任 选 一 个 样本 古 * 作为 初始 输入 : 
raT 


人 
WAXE 一 [2 和 EN] Wu 一 NE 
We 
通过 上 式 可 求 得 新 的 输出 Xr 一 sgnCfVXx) , 取 Xx 的 第 j 个 分 量 ，; 
Xr = sng[> wux 引 一 
名 
sen[ WAX3XE 二 人 2GXIXS 十 二 六 RNXF] 一 


XI = 


AN 
1 


殷 
sn CD 十 2 
SEnC5 十 2》 





Na 
一 MX 一 


AT 1 


设 几 为 零 均值 的 随机 谈 量 ,Xi , 鸡 , XIE {1, 一 1), 面 册 的 方 吉 
只 一 (CN 一 1)m T 一 W(N 一 1)2 


《4. 2 187 
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对 于 非 正 交 的 学 习 样 本 ,如果 满 足 2> WAN 一 1j2, 则 网 络 仍 可 收 委 到 其 记忆 样本 上 . 

从 上 面 的 分 析 可 以 看 出 ,对 于 正 交 样本 ,按照 Hebb 学 习 规 则 , 它 的 稳定 点 与 要 记忆 的 样 
本 相同 ,对 于 非 正 交 的 记忆 样本 , 阿 络 不 能 保证 收敛 到 所 希望 的 记忆 样本 上 ,只 有 当 5 > 七 时 ， 
其 输出 近似 为 所 要 求 的 输出 - 


4.24 网 络 的 稳定 性 实验 “ 


假定 网 络 由 个 节点 构成 ,在 时 刻 记 网 络 的 状态 可 用 全 部 节点 的 输出 值 组 成 的 > 维 向 量 
豆 ( 纺 一 XiD] 
来 表示 , 且 筷 (bE{ 一 1,1). 假定 网 络 是 串 行 工作 方式 ,节点 间 是 对 称 结合 的 权 信 矩阵 . 在 时 
刻 总 任意 节点 斌 的 输 和 人 信和 号 加 权 和 为 ; 


丽 (T) 一 2 了 轧 们 一 肥 
| 


网 络 状态 变化 ,遵循 下 面 规则 ， 
人 切 从 网 络 = 个 节点 中 随机 地 选取 节点 生 
图 计算 节点 宇 的 瑟 ,( 切 值 ， 
图 根据 媚 ,( 妇 值 更 新 节点 ; 的 输出 X,G 十 1)， 
计 责 ,( 莫 莹 0 
， Xi 二 I2 一 1 工 . 
1 了 Else 。 导 人 十 1) 一 一 
人 以 外 的 节点 7 天 输出 不 变化 ， 
和 十 1) 一 已 ( 菇 








加 返回 @@. 
网 络 状态 变化 和 能 量 之 间 的 关系 如 图 4.2 所 示 , 可 见 , 遵 循 状态 变化 规则 ,网 络 的 状态 总 
是 朝 能 量 根 小 点 方向 变化 ,一 旦 落 人 某 个 根 小 点 ,网 络 的 状态 就 不 再 变化 . 
能 量 








图 4.2 网 络 状态 变化 和 网 络 能 重 间 的 关系 
图 4 3 给 出 一 个 模 所 有 四 个 节点 的 网 络 状态 变化 的 结果 ,分别 议 16 个 状态 为 初始 状态 ， 
按照 网 络 状态 变化 规则 不 断 变化 , 图 (a) 中 的 状态 b 的 能 量 为 294, 其 变化 为 :bd_>5-4， 
最 终 收 敛 到 能 量 最 小 的 状态 4. 由 图 可 见 ,无论 从 何 种 初始 状态 出 发 都 是 朝 着 能 量 减 小 的 方向 
变化 , Global 表示 能 量 的 全 局 极 小 值 ,Local 表示 能 量 的 局 部 极 小 值 . 图 (b) 和 图 (a) 相 比 只 是 
所 选取 的 随机 数 种 类 不 同 ( 分 别 为 8 和 ?) ,并且 从 尾 意 初始 状态 出 发 孝 会 收 伍 到 能 量 最 小 的 
状态 e. 
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Ste Eneng Time_ Eveluuioa 
《用 0) > 004444444444444446444444444444 Global 
〔 1 17》 > 354444444444444444444444444444 Clobal 
(> 122) …> 000044444444444444444444444444 Global 
( 3 1) > 333333333333333333333333333333 Tecal 
(4 -15) …> 1444444444444444444444444444444 
攻 3 9) > 44444444444444444444444444444 Tilobal 
(6 77) > 6G6644444444444444444444444444 Global 
{《 了 80) > 335444444444444444444444444444 
( 8 122) …> 800044444444444444444444444444 
( 9 [87] > 996d55555444444444444444444444 Global 
【( 35b > 33333333333333333333333333333 Loeal 
{《 hb 294) > TEE8d54444444444444444444444<4 Chobal 
( e 一 后 ) > ee4444444444444444444444444444 Global 
( 107) ……> ee4444444444444444444444444444 Global 
(ee 233) …> cecoo44444444644444444444444 人 4 Choba 
《了 234) > ad54444444444444444444444444 Global 

《3) 

Sa ime-Evcjlution 
( 0 > Becccccooeeoeceeeoepoeeceoeeec Global 
(二 > 9dddddcoceoeeeeeetacoocceconoa Global 
{ 2 > 6445daddecoooosoeoqeoeonoooesc Gobwl 
《 囊 > 155ddccccceaeeeececeeoceeecebte Clchal 
(4 > 4ceeeocoecooeeoeopaeeeoopeocar Global 
( 5 > 53555555555ddococeooeooeeeceoee Globat 
(56 > 45deeeeceeecceeeeeooceocoototm Glohl 
【 7 > TBeeoaeoceeaecpobeeoaieaceaaoa Glaba 
( 8 > 9dddaddddddecoceeeeoeeoeeeeeec Gobwl 
【 9 > 了 ccceeeeeececeocceccoocopcocece Global 
《 > 用 poceeaaccPCceCCopeooc0e8COCOO Clohal 
《hh > 999999ddcccecoccoooceeceeeoece iobal 
(ee > ecaeoeaeeeeepeeeeeeeoeoteeeooee ”Clobal 
《 > dddccooeeeoccooccccocccooocooo obar 
( 。 > eeepeeceocecetccoeooeoceoopee Clotal 
《 工 > 人 opooeooecoeebeeeoececreecee Choba 

《9)》 
图 中 3 - 半 结 状态 变化 的 模 扩 纺 有 
4.2.5 联想 记忆 


一 、 联 想 记 忆 的 原理 

联想 可 以 理解 为 从 一 种 事物 联系 到 与 其 相关 事物 的 过 程 .由 于 反锁 网 络 会 收 伍 于 其 稳定 
状态 (吸引 子 ) ,使 得 它 可 以 作为 联想 存储 器 CContent Addressabl& Memory). 具体 讲 ,就 是 他 
理 地 选取 权 系 数 ,使 得 网 络 的 稳 态 恰好 为 联想 存储 的 一 组 状态 N. 如 果 网 络 的 初 态 在 N 中 , 则 
网 络 的 状态 将 不 变 ; 如 果 不 在 N 中 ， 希望 网 络 所 达到 的 稳定 状态 应 为 六 中 村 初 灾 Hamming 
下 离 最 近 的 稳定 状态 ， 二 

联想 记忆 有 自 联 想 和 他 联想 两 种 形式 . 自 联 息 措 的 是 由 某 种 事物 的 全 局 特征 吉 局 部 特征 
联想 到 其 所 表示 的 实际 事物 ， 他 联想 扎 的 是 由 某 种 事物 的 全 局 特征 或 局 部 特征 联想 到 与 其 密 
切 相关 的 事物 . 
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《1) 自 联想 记忆 (Auto-AM). 设 在 学 习 过 程 中 存 人 六 个 样本 < , 开 一 1,2，…N, 若 输入 
于 一 下 十 Y ,其 中 下 是 N 个 样本 之 一 ,8 是 偏差 项 (可 能 是 噪声 .图 形 的 缺损 或 畸变 等 ) ,要 求 
输出 为 了 一 革 ,即使 之 复原 . 

(2) 他 联想 记忆 (Hetero-AM). 规定 两 组 样本 之 间 有 一 定 的 对 应 关系 于 -YE ， 天 一 1,2， 
例如, 嫩 代表 某 人 的 照片 ,经 代表 某 人 的 姓名 , 使 用 时 , 若 输入 忌 一 和 十 Y, 要 求 输出 为 
了 一 Yx. 

人 和 脑 对 给 出 的 一 种 事物 得 出 与 其 对 应 事物 的 途径 有 两 种 :一 种 是 按时 间 顺 序 对 相关 事物 
进行 思考 ,例如 ,通过 时 间 安 排 表 来 回忆 某 一 段 工作 . 另 一 种 就 是 通过 事物 本 质 特 性 的 对 比 来 
确认 事物 的 属性 ,从 提示 信息 或 局 部 信息 对 事物 进行 回忆 或 确认 . 这 两 种 途径 抽象 成 计算 机 中 
按 地 址 寻 址 和 按 内 容 寻 址 两 种 方法 . 按 内 容 寻 址 是 基于 事物 全 部 或 部 分 特征 来 找 出 目标 事物 ， 
寻找 过 程 就 是 特征 对 比 ,而 不 必 知 道 这 些 事物 的 具体 存储 地 址 , 从 亚 配 过 程 来 看 ,这 种 方法 不 
躺 要 地 址 的 管理 及 变换 . 从 观念 上 来 看 ,这 种 方法 更 接近 人 类 的 思维 方法 ,因为 在 人 腑 国 识 决 
策 过 程 中 , 绝 大 多 数 是 基于 事物 之 间 的 联系 ,也 就 是 联想 过 程 . 

二 .联想 记忆 的 学 习 _ 

为 使 得 网 络 具有 联想 记忆 功能 的 关键 问题 是 如 何 道 过 学 习 找 到 合适 的 权 值 矩 阵 . 对 于 
Hopfield 网 络 可 以 用 Hebb 学 习 规 则 进行 学 习 训 练 . 设 网 络 有 za 个 节点 , 且 每 个 节点 的 输出 只 
能 取 0 或 者 1 ,分别 表示 掉 制 和 兴奋 状态 ,学 习 过 程 中 Wv 的 调整 原则 是 , 若 ; 和 ; 两 个 基点 同 
时 处 于 兴 奉 状态 ,那么 它们 之 则 的 连接 应 加 强 , 即 : 

Aius 一 aXFKEF， ca>>0 《4. 2. 19)》 

具体 的 实现 是 使 用 外 积 规则 . 对 于 给 定 的 一 组 输入 桩 本 Ex , 民 一 1,2，…,N, 外 积 规则 可 
以 表示 为 ， 





只 
琴 一 > (KEEXK 了 一 江 是 单位 矩阵 《4. 2. 20) 
- 全 人 
可 惧 用 下 而 步骤 完成 : 
@ 丛 mW 一 [o]; 
@@ 答 人 忆 ,区 一 1,2， ,对 所 有 的 连接 对 (f 和 方 令 ， 
Ws 一色， 十 aXKIKKE (4.2. 21) 


下 面 讨 论 上 述 方法 的 合理 性 . 假定 各 个 输 人 样本 是 正 交 的 , 且 x>N. 
六 
TXT 一 《站 CT 一 下 .和 十 半 CGKLXET 一 下， 和 一 
人 


《2 一 1 和 一 (CN 一 1)， 和 一 < 
. 加 Cr 一 ND) .3 : (4.2. 22) 
所 以 sgnkWXT) 一 各 ,可 见 馈 是 一 个 稳定 状态 . 
三 、 联 想 记 忆 的 模拟 实现 


昭 汪 4 表示 利 用 联 息 记忆 功能 实现 图 像 的 联想 . 设 网 络 的 节点 以 二 维和 矩阵 的 形式 排列 , 节 
点 输出 为 1 时 ,用 小 圆圈 表示 ,输出 为 0 时 ,用 小 点 表示 . 并 且 网 络 的 一 个 稳 态 , 即 网 络 能量 函 
数 的 极 小 点 ,对 应 一 帆 完 整 的 图 像 . 其 周 园 状 态 对 应 不 完整 的 图 像 (缺损 图 像 ). 那么 ,从 不 完整 
的 图 像 对 应 的 状态 为 初始 状态 出 发 ,经 过 状态 的 不 断 迁 移 , 可 以 收敛 到 完整 图 像 所 对 应 的 状 
态 . 即 可 以 理解 为 从 不 完整 的 图 像 联想 起 完整 图 像 的 过 程 . 
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能 量 





图 4.4 联想 记忆 的 过 程 
假定 所 希望 的 记忆 模式 为 六 个 , 印 对 冰 网 络 N 个 能 量 极 小 点 ,对 于 节点 闻 和 节点 了 可 以 


用 下 式 确定 网 络 的 连接 梭 值 ; 


办 
一 2(2X 一 1D) 人 2 一 1) (4. 2. 23) 
和 
ts 一 0 有 一 0 
且 记 忆 模式 满足 下 面 的 约束 条 件 : 、 
只 。 
2 271X9X9 一 27X9 0 (4.2. 24) 


即 从 如 个 模式 中 任 取 了 两 个 模式 己 和 双 , 两 个 模式 向 量 的 分 量 同时 为 “1 的 数 为 每 个 模式 向 量 
中 “1 的 个 数 的 一 半 , 倘若 记忆 模式 满足 式 (4. 2. 24) 的 制约 条 件 , 且 按 式 (4. 2. 237 确 定 网 络 权 
值 , 则 待 记忆 的 模式 对 应 的 网 络 状 态 都 是 网 络 的 稳 态 , 即 对 应 网 络 能 量 的 极 小 点 . 另外 ,不 仅 记 
忆 模 式 本 身 ， 让 作 生 站 是 有 分 量 束 后 记得 的 模式 也 成 为 网 络 能 在 的 极 小 训 。 由 下 


式 可 以 证 明之 : 





一 六 [za 一 X8) 一 1[2K1 一 X8) 一 菇 一 


KR1 


站 te-Dexr-D 《4 2. 25) 


模 抽 案 现 联想 记忆 的 记 亿 模 式 如 图 业 5 所 示 . 网 络 的 节点 数 为 10X10=100 个 ,图 4.6 为 
模拟 实验 的 输出 结果 ,其 中 了 表示 海 明 距 离 ， 三 表示 网 络 所 对 应 的 能 量 ， Rev 表示 网 络 状 态 的 





Do0o000 0 0 000 0 
Do000 0 9 0 800 
0000900 0 0 000 0 
DoOonDngn0 0 000 0 
00000090 0 09090059 
ee 0 0 0 9 
四 夫 二 国 二 0050 
日 ee oo 0o9 
ee 四 @ @ bo oo 
模式 1 





图 4.5 输入 模式 
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各 分 量 求 反 后 所 对 应 的 网 络 状态 ,图 4, 6 右面 的 矩阵 中 的 数 表示 各 节点 使 用 规则 更 新 的 次 数 . 
从 图 中 可 以 看 出 ,从 初 态 开始 ,能 量 为 4, 与 模式 1 的 海 明 距 离 为 40, 与 模式 2 的 海 明 上 距离 为 


50, 经 200 次 状态 变化 ,最 终 收敛 到 模式 1 的 状态 . 
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围 4.6 
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$4.3 连续 型 Hopfield 神经 网 络 


连续 型 Hopfield 神经 网 络 CHNN 的 每 个 节点 的 输入 与 输出 关系 为 连续 可 微 的 单调 上 升 
函数 ,每 个 节点 的 输 和 人 是 一 个 随时 间 变 化 的 状态 变量 , 它 与 外 界 输入 和 其 他 节点 来 的 信号 有 直 
接 关系 ,同时 与 其 他 节点 之 间 的 连接 权 值 相关 - 由 于 状态 变量 直接 影响 输入 变量 ,使 得 系统 为 
一 个 岩 时 间 变 化 的 动态 系统 . 


4.3.1 网 络 结 榨 数学 模型 


连续 型 Hopfieid 神经 网 络 在 结构 上 和 离散 型 相同 ,而 且 状 态 方程 形式 上 也 相同 . 若 定义 
网 络 中 第 ;个 节点 的 输入 为 wx 输出 为 mw, 那么 输入 输出 的 关系 为 ， 
局 一 Fa) 一 天 立 一 4) 《4.3.1) 


其 中 ,= 为 阿 络 的 节点 数 , 状 态 转移 函数 为 Sigmoid 型 画 数 ,一 般 常 用 
zy 一 1/G1 十 se) 或 者 F(z) 一 tanhGar)》 

网 络 工作 方式 分 为 异步 ,同步 和 连续 更 新 三 种 方式 ,与 离散 型 Hopfield 网 络 相 比 , 多 了 一 
种 连续 更 新 方式 , 即 了 网 络 中 所 有 节点 的 输出 都 随时 间 连 续 变化 . 

图 4.7 表示 了 网络 中 的 单个 电子 神经 元 ,神经 元 可 由 一 个 让 正 负 输出 的 运算 放大 器 模拟 , 放 
大 器 的 输 和 人 部 分 表示 生物 神经 元 的 树 突 , 输 人 电阻 表示 各 个 神经 元 之 间 的 连 护 强度 ,放大 器 的 
输出 部 分 代表 生物 神经 元 的 轴 突 ,电容 C 表 示 神 经 元 的 细胞 膜 电 容 , 电 阻 到 代表 细胞 膜 电阻 . 
4. 8 所 示 的 是 一 种 连续 型 Hepfield 网 络 结构 ,该 阅 络 模型 可 与 电子 电路 直接 对 应 . 图 中 神 
经 元 和 神经 元 j 之 间 通 过 电导 Ts 相连 ,实际 上 ,这 种 连接 是 通过 电阻 Rs 一 1/Ty 来 实现 的 . 
当 Ti >0 时 ,表示 这 种 连接 是 兴奋 型 的 ,电阻 Ry 接 到 放大 器 的 正 输出 端 上 ,Tvy <0 时 ,表示 这 
种 连接 是 抑制 型 的 ,电阻 Rs 接 到 放大 器 的 负 和 输出 端 上 ， 

















De 





图 4.7 利用 运算 放大 器 实现 的 神经 元 
对 图 4. 7 的 神经 元 ,根据 克 希 荷 夫 定律 可 写 出 下列 微分 方程 ， 
da 已 
C 一 冯 T 忌 士 五 
下 一 上 (zy)》 
其 中 ,zavrm 分 别 为 神经 元 的 输 人 和 输出 电压 ;R:,C: 分 别 表示 神经 元 ; 的 输 人 电阻 和 输 人 电 


容 二 是 俯 量 电流 , Ci 绎 表示 输入 电流 流向 神经 元 ; 的 输 人 电容 C; 充 电 至 电位 w, 的 电流 ,这 一 


《4. 3.2) 
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电流 由 方程 右 端 的 三 部 分 组 成 - 旺 Po 表示 神经 网 络 中 ,神经 元 六 输出 电压 通过 神经 元 间 的 
联接 电导 Tv 产生 的 电流 ， 此 这 一 -部 分 是 所 有 与 神经 元 站 相连 接 的 神经 元 对 神经 元 # 所 提供 
的 电流 ; 素 表 示 神 经 元 : 的 异 电 阻 的 凋 电流 ,天 表示 外 部 的 输入 电流 . 不 难看 出 , 国 4.8 网 络 的 


数学 模型 可 以 用 二 个 式 (4. 3. 2 所 表示 的 非 线形 方程 组 来 描述 . 
再 六 下 






















































































图 4.8 连续 型 Hopfield 网 络 结构 


4.3.2 网 络 的 稳定 性 分 析 
Hopfietd 将 贸 4. 8 网络 的 能 量 栈 数 已 定义 为 : 
=- 一 卫 阅 六 Tom 一 六 or + 六 站 7 Codm (4.3.3) 


1 1 Ts 


定理 4.4 假定 神经 元 转移 特性 函数 /( . ) ,存在 反 函 数 产 :(。 ,并 是 单调 连续 递增 
函数 ,同时 网 络 结构 对 称 , 即 Ty 一 Th,Ts 一 0, 那 么 沿 系统 的 运行 就 迹 有 dE/dz<0, 当 且 仅 当 
dydz 一 0 时 ,dE/dt 一 Or7E 112 





证 明 、 - ， . 
厚 - 习 站 党 。 7 的 (下 3.4) 
由 式 (4. 3 3) 和 四 一 广 !(z)， 对 某 个 特定 的 有， 
尊 -二 忆 cm )a 一 (Trw 一 台 十 号 (4.3.5) 


由 于 网 络 的 对 称 性 和 式 (4. 3.2) "那么 式 (人 3- 5) 可 写 为 ， 
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Sa 和 1 
瑟 =- 全 = 一 CC) “全 (4.3.6) 
将 式 (4. 3. 6) 代 人 式 (4. 3. 4) 得 
d2_ Jr dm 
宇 = 之 CC (各 ) (4. 3.7) 
因为 广 :5 ) 单 调 递增 和 C>0, 因 此 
4 
王 裤 9 


只 有 对 于 所 有 的 密 满足 < 末 时 ， 才 有 坚 


证 毕 - 

由 上 面 定理 可 知 , 随 着 时 间 的 增长 ,网络 状态 不 断 变化 ,网络 能 量 逐 渐 降 低 . 当 且 仅 当 网 络 
中 所 有 节点 的 状态 不 百 变 化 时 ,能 量 也 不 再 变化 ,此 时 到 达能 量 的 极 小 点 . 这 就 是 说 网 络 的 稳 
定点 就 是 三 的 极 小 点 . 

如 果 网 络 的 结构 不 是 对 称 的 , 则 无 法 保证 网 络 的 稳定 性 . 这 时 ,在 网 络 的 运行 过 程 中 可 能 
出 现 极限 环 或 者 混沌 现象 . 
下 面 讨 论 六 和 os 的 关系 ,车 式 (4. 3. 2) 不 考虑 外 加 电流 二 ,并 将 等 式 两 边 同 乘 以 RR , 那 





么 有 : 
RC, 芝 一 ToRm 一 w ， (4. 3.8) 
全 RCR 对 过 了 加 、 
总 坚 - Zr 一 四 (4. 3.9) 
为 模拟 神经 元 的 输出 时 间 特性 ,在 网 络 稳定 后 ， 由 《4. 3. 9) 式 可 得 : 
如一 Two Cd4. 3. 10) 


这 与 式 (4. 3. 1) 的 定义 相 一 致 ,只 不 过 阔 值 & 一 0. 

“ 当 Hopfield 网 络 的 节点 间 连 搂 呈 对 称 性 时 , 即 Ti 一 Ti，, 系 统 的 能 量 忆 在 达到 局 部 极 小 
什 后 就 停止 随时 间 变化 . 这 说 明 Hopfield 网 络 构成 的 一 个 非 线形 动力 学 系统 可 以 稳定 ,并 且 
称 定 在 局 部 板 值 或 全 局 极 值 点 上 . 在 构造 一 个 Hopfietd 神经 网 络 时 , 轩 子 网 络 结构 已 直 
Hopfield 提出 ,因此 应 用 者 要 做 的 工作 是 将 一 个 应 用 问题 化 成 Hopfield 网 络 结 梅 所 能 表 痊 的 
问题 ,同时 要 找到 合理 的 能 量 函 数 表 达 式 ,然后 找到 相应 的 Ty 值 . 系统 的 区 定 性 问题 是 连续 型 
Hopfield 网 络 实 理 的 关键 问题 ,不 然 会 引起 网 络 的 不 稳定 或 者 振 葛 ,这 样 就 达 不 到 预期 的 目 
的 . 

下 面 对 网 络 的 能 量 公式 给 予 讨论 . 一 种 异步 工作 方式 的 网 络 能 量 公式 由 下 式 表 示 ， 


三 二 已 Tv 一 忆 o1 十 于 wm (4.3.11) 
任 选 一 个 节点 记 且 只 有 的 状态 变化 ， 则 能 量 的 变化 量 为 ; 
生 一 (27Twm 十 工 一 嫩 ) Am (4. 3. 12) 
ie ， 


当 2 To 十 五 一 如 >>0 ,并 县 Aotc>0 时 ,AE<0, 系 统 可 趋 于 稳定 ; 
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当 习 Tyw 十 大 一 直到 0 :并且 Auw<0 时 ,AE<<0, 系 统 可 趋 于 稳定 . 


志 
对 于 节点 夺 有 :um 一 Fo) 和 zz 一 广 !(w)》, 为 了 方便 起 见 , 假 定 转移 画 数 为 线性 函数 , 即 
十 一 Fu 一 大 


则 有 au 一 广 !(o) 一 站 , 当 & 一 co 也 即 神经 元 增益 趋向 无 穷 时 , 忆 一 下 一 0, 所 以 在 能 量 公式 











(4. 3, 11) 中 可 略 去 > ,uao; 项 ,这 时 能 量 公式 为 ， 
巨 一 -去 忆 也 Tim 一 歹 v 《4. 3.13) 
当 外 部 流 人 神经 网 络 的 电流 到 为 0 时 ,能量 函数 还 可 化 简 为 : 
巨 = 一 十 对 并 Ta 《4.3.14) 


8$4.4 Hopfield 网 络 的 应 用 实例 


4.4.1 用 于 求解 TSP 问题 


TSP 问题 亦 称 邮递 员 路 径 问 题 ,其 内 容 为 ;假定 有 ”个 城市 4.B、C.…, 已 知 其 相 吉 间 虑 
离 为 due ,dac ,dce,… 招 题 是 寻找 一 条 合理 的 闭合 路 径 , 此 路 径 经 过 每 个 城市 , 且 仅 经 过 一 
次 ,并 返回 到 起 始 城市 ,要 求 总 的 路 径 :4 一 da 十 dme 十 dcs 十 … 为 最 短 . 

在 给 定 ”的 条 件 下 ,闭合 路 径 的 数目 为 4 一 (* 一 1)1 /2, 其 算式 为 


加 
一 盖 dar 十 四 
这 1 “ 





也 一 iminCD) 
< 
用 神经 网 络 求解 ,首先 要 找到 一 个 合适 的 表示 方法 . 以 五 个 城 市 为 例 * 可 用 一 个 元 阵 来 表 
示 , 如 图 4.9 所 亲 , 没 为 出 发, 芋 表示 路 醋 的 顺序 为 CAm 瑟 >B DC 在 此 矩阵 中 各 
行 各 列 只 能 有 一 个 元 为 1, 其余 都 是 零 , 否 则 它 就 是 一 个 无 熬 路 生 . 如 果 用 下 标 zx,? 表示 城 
市 宇 表 示 第 几 次 访问 ， 即 zyE (4A,B,C,D,E)iE{11,2,3,4,5}, 图 中 表示 了 一 “条 有 效 路 径 ， 
其 路 径 的 长 度 为 ， 





也 一 da 十 cn 十 dm 十 da 十 apc 


2 





中 日 中 
oore cl- 
oo oo -= 
= ee oo olw 
oooen oc|* 
| 


0 

图 4.9 用 和 矩阵 囊 示 TSP 问题 的 访问 题 序 
为 了 解决 TSP 问题 ,必须 构造 一 个 有 *X# 个 节点 的 网 络 , 在 网 络 运行 时 ,网 络 的 能 量 不 
断 降 低 , 网 络 稳定 后 其 输出 状态 代表 城市 的 访问 顺 序 , 即 构成 如 图 4. 9 的 拢 阵 . 网 络 能 量 的 极 
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小 点 对 应 最 佳 或 准 最 佳 路 径 . 
解决 问题 的 关键 是 找到 合适 的 能 量 函 数 . 
《1) 针 对 有 效 路 径 , 构 造 行 约束 条 件 ， 


已 = 条 忆 习 Yo Var 和 0 


3 


其 中 A>0 为 常数 , 忆 保证 当 和 矩阵 的 每 一 行 不 多 于 一 个 1 时 ， 其 信 达 到 最 小 五 一 0. 
2) 构造 列 约 东 条 件 : 


其 中 B>>0 为 常数 , 杞 保证 当 矩 阵 的 每 一 列 不 多 于 一 个 1 时 ,其 信 达 到 最 小 囊 一 0. 
《3) 构 造 全 局 约束 条 件 : 
C 2 
一 豆 ( 3 2 一 省 
其 中 C>>0 为 常数 ,已 保证 当 和 矩阵 中 1 的 个 数 恰好 为 = 时, 书 达到 最 小 已 ;一 0. 
《4) 定 义 路 径 的 长 度 为 : 
一 3 忆 ds 《ay 十 my) 
并 


其 中 d 表 示 城 市 到 城市 ? 的 距离 ,ww 表示 矩阵 中 第 z 行 第 ; 列 的 元 剖 , 其 值 为 1 时 ,表示 第 
: 步 访问 城市 z ,为 0 时 ,表示 第 ;i 步 不 访问 城市 z. 已 , 取 极 小 值 时 对 应 最 佳 路 径 . 
因此 ,网络 的 能 量 本 数 为 : 





瑟 一 巴 十 瑟 十 已 十 豆 (4 二 划 
将 式 (4. 4. 1 和 标准 能 量 丁 效 公式 (4, 3. 13) 相 比 可 得 到 节点 主 和 节点 了 之 间 的 导 纳 值 为 ， 
Ta 二胡 -(E 一 人 1) 一 月 1 一 训 人 一 C 一 PCB 十 全) 《4 4. 27 
其 中 5 和 8 定义 为 : 
1 一 了 
8 一 :1 一 Cs 《4 4 3》 
Eee 


将 式 (4. 4 2) 和 (4. 4. 3) 代 和 网络 状 态 方程 (4. 3. 2) 中 ,得 到 : 
da 国 
C- -和 一 一 起 一 AZ 一 82 一 C( 袜 2 一 台 一 
也 > de (ae 十 oo) (4 4 和 
经 
当 网 络 节点 输出 为 连续 型 时 : 
oo 一 Fe) = 寺 +ema( 尖 | 


当 网 络 节点 输出 为 离散 型 时 ， 
1， za 盖 0 
一 
， aas<0 
选择 合适 的 A.B、C.D,.s 和 初始 值 vs 一 1/z, 按 上 式 造 代 直 至 收 策 . 
下 面 介绍 一 种 改进 的 算法 . 为 了 简化 能 量 函 数 , 式 4.4. 1) 中 的 第 三 项 仅 在 网 络 输出 为 全 
零 时 才 起 作用 ,否则 前 面 网 项 已 经 保证 了 第 三 项 的 或 立 ,如 果 前 钠 项 改 为 ; 
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” 切 


生 袜 ( 习 w 一 中 + 和 ( 


出 第 三 项 可 以 省 去 ,于 是 能 量 函 数 为 : 
下 = 生 六 ( 袜 半 一 本 二 县 六 (六 下 十 旺 半 习 半 donnn 4 晤 


< 一 1 2 Fr 


由 于 行 和 列 的 对 称 性 , 取 B 一 4, 第 三 项 由 式 (4. 4.1) 的 (ws 十 mw-i) 两 项 简化 为 wa 
一 项 仍 能 满足 约束 条 件 的 要 求 . 由 




















人 -~- 树 (2 
导出 网 络 的 动态 方程 ， 
后 4( 忆 mw ]) 4( 习 w 了 一 D<eevm (和 6 
网 络 权 值 与 外 部 输入 电流 为 。 
Te = 一 As 一 Ah 一 Dis 一 2 (47 
算法 步骤 如 下 : 


@@ 冒 :一 0,4 一 1.5,D 一 1; 

名 读 人 2 个 城市 之 和 问 的 距离 go. (zy 一 1, 2 ,7D3 

地 由 式 (4. 4. 7? 计 算 权 值 T-,* 和 输 和 人 偏 置 Ta; 

国 戌 于 us ( 纺 的 初始 值 为 接近 于 0 的 随机 数 (z,i 一 1,2，，705 


加 计算 mtD ,im12o va 人 一 二 (Ianh 到 多 , 取 四 一 0.02; 


@@ 利 用 动态 方程 计算 Axe (的 ，( 了 120 7 
Aaxa(H 一 六 六 Twox 十 天 


@ 祖 据 一 阶 欧 拉 公 趟 计算 xu GD， 
xn tt 十 1) 一 zsgt) 十 AzsAAty 工 记 一 《12 2》 
取 At 一 0.5; 
因 如 果 系统 达到 平衡 状态 , 则 终止 ,否则 返回 加 . 


4.4.2 用 于 求解 货 流 问题 


如 图 4. 10 所 示 ,求解 货 流 问 题 的 描述 如 下 : 设 有 台 个 货源 ,每 个 货源 存量 为 S-,z 一 1,2， 
和 … :mm 向 二 个 用 户 供 货 ,每 个 用 户 需要 量 为 D,,? 一 1,2,…,,Co 为 从 z 运 到 y 单位 货物 所 需 
要 费用 ,问题 是 求 一 个 供应 方案 产 ,使 满足 各 用 户 需要 且 总 费用 最 小 ， 

用 神经 网 络 求解 该 问题 ,首先 要 解 次 如何 利 用 各 神经 元 状态 的 组 合 来 表示 数量 的 问题 .对 
数 的 编码 通常 有 以 下 几 种 方案 ; 

《1) 二 进 制 法 ;这 是 最 常用 的 方案 ,用 log: CN 十 1) 位 表示 数 N, 数 空间 与 神经 元 空间 是 一 
一 对 应 的 . 这 种 方法 节省 神经 元 数量 ,但 奔 错 性 差 ,尤其 当 表 示 最 高 位 的 状态 错误 时 ,误差 最 
大 - 

《2) 简 单 求 和 法 :用 处 于 激活 状态 的 神经 元 数目 之 和 表示 数 , 则 表示 数 N 最 少 要 用 N 个 
神经 元 , 数 空间 和 神经 元 空间 是 一 对 多 的 . 这 种 方法 不 经 济 ,但 容错 性 好 . 
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图 4.10 货 流 问题 
(3) 分 组 求 和 法 :综合 上 两 种 方法 ,把 9 位 数 分 成 K 组 ,每 组 M 位 (8 一 KND ,组 内 用 简单 
求 和 法 表示 , 则 任何 一 数 都 可 写成 





上 _ 
立 [Cx+ 1D 生 >) occbone 
四 | 


1 f 了 


例如 ,对 g= 一 6, 基 一 2,M 一 3, 则 5 可 表示 为 100100, 即 由 X(1 十 0 十 0 十 全 X 人 (十 0 十 0) 一 5 或 
010001,001010,100001 等 . 若 用 { 十 1, 一 1) "表示 , 则 在 上 式 中 加 一 负 项 : 


天 电 


[ea+ De zw] 一 [去 ent 2 一 习 
| 各 
现在 来 解 货 流 问题 ,可 以 把 该 问题 转化 为 在 约束 条 件 


辽 所 3 (一 20 


1 


忆 记 和 DG 一 12 


下 求 六 Cr。 的 最 小 值 , 


==1 y=1 


设 单位 费用 插 阵 及 存 需 竹 阵 已 知 , 分 别 如 表 4. 1, 表 4 2, 流 量 算 阵 如 表 4. 3, 用 9 个 神经 元 
表示 整个 矩阵 中 每 个 元 素 , 以 示 流 量 广 ,所 以 总 共 要 N 一 gm 个 神经 元 表示 整个 流量 矩阵 ,每 
个 神经 元 状态 w.,… 有 三 个 下 标 ,zv*y 表示 神经 元 所 属 矩阵 元 素 ,; 表示 它 在 该 元 素 中 的 位 置 . 

寡 4.1 单位 典 用 短 阵 Co 

















3 一 1 3 一 2 2 一 3 om 3 一 5 
z 一 1 5 1 7 3 3 
了 一 2 了 3 6 有 5 
一 3 6 芭 8 1 和 
了 一 4 3 了 2 了 4 
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表 4.2 存 需 矩阵 


T -一 
3 一 1 3 一 2 本 mm 

















































































































刺 4.3 流量 开 阵 
了 卫 z Ds Pa Ps 
总 量 2 ? 3 3 四 
S1 5 捍 5 D D 用 
Sz 3 了 1 D D 各 
33 生 总 日 0 到 
S4 6 BC 1 3 0 了 
采用 分 组 求 和 法 表示 数 ， 
太 风 
疡 一 袜 [ax+D” 忆 reernor] 《44 8) 
台 所 
目标 函数 为 
人 志 天 
了 一 一 他 环 忆 忆 2CMTD 和 [1 一 2oovocoub 开 十 
扫 扣 各 各 
瑟 国 罗 ， 
辽 妆 [S 半 产 半 CO4+DP oomo] + 
研一 yt1 17 
Cs 避 去 改 3 
到 忆 [ 忆 + 关 六 GTDP om] 二 
所 对 全 全 
万 站 
中 习习 习 c。 CT+ Doom (4 二 9 
气 人 各 台 各 


式 中 ,4A,B,C, 了 D 皆 为 正 的 系数 ,第 一 项 是 使 状态 变量 us 二 值 化 ,由 于 函数 形式 为 
下) 一 一 (1 一 2o)2 《0 < 安 羡 委 1) 
当 v 一 0 和 = 1 时 达到 最 小 . 第 二 项 是 存量 约束 ,第 三 项 是 需 量 约束 ,第 四 项 是 使 总 费用 最 小 . 
网 络 的 能 晤 函数 可 表示 为 
一 一 了 二 辫 立 立 六 半 立 六 站 Towereromex 


人 





于 


wiirpunanracomr 一 写 习 六 六 wwesx 


2 Pit 全 
Tbneh (4. 4. 10) 
其 中 Tea-pwrssye-bwrz 表 示 在 流 晤 矩阵 中 的 第 zy 元 素 的 位 于 [(& 一 1)M 十 洒 的 神经 元 与 
第 zy 元 素 位 于 [( 尼 一 1)M 十 汐 的 神经 元 间 连 线 强 庆 , 令 了 与 下 的 对 应 项 相等 可 得 
了 eerbarezyee-batz 一 4ACGMH 二 TFI3Dwpuprr 一 
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有 BCM 十 18He2Dse 一 COM 十 1GDo 一 


DUOM 二 1D)eH2CoCny 《4.4. 11) 
Tearcnbwr 一 24(M 十 1D 革 十 BOM 二 DIS 十 COM 十 1D， (4 4.12) 
其 中 3 为 8 画 数 : 
1， 一 
0， > 天 了 


4.4.3 在 通信 网 络 中 的 应 用 


现代 通信 阅 络 是 一 个 很 复杂 的 系统 ,合理 地 对 之 进行 调度 和 管理 是 通信 产业 的 一 个 重要 
问题 . 使 用 神经 网 络 可 以 动态 地 解决 其 优化 问题 - 

1. 路 由 规划 (Routing) 

目前 的 通信 网 络 都 是 点 到 点 连接 的 ,可 用 一 个 无 向 图 G 一 Co*e) 来 表示 ,项 点 代表 交换 节 
点 * 边 代表 通路 ,每 个 边 有 一 最 大 容量 . 为 实现 网 络 中 所 有 点 到 点 之 间 的 通信 ,需要 根据 用 户 呼 
叫 及 网 络 业 务 量 的 情况 合理 地 安排 路 由 , 目前 多 用 事先 安排 的 路 电表 选择 路 由 ,这 是 一 种 静态 
方法 . 由 于 业务 量 时 刻 变 化 ,人 们 和 希望 能 据 当 时 情况 动态 选 路 ,以 进一步 提高 效率 . 神经 网 络 的 
并 行 计 算 ,为 动态 选 路 提供 了 一 条 可 行 的 方案 . 

首先 对 无 向 图 G 的 各 边 编号 ,路 由 经 过 的 边 用 1 表示 (ELx 一 1), 不 经 过 的 边 用 0 表示 (ELw 
一 0). 这 样 一 个 路 由 可 用 一 个 0,1 串 来 表示 , 工 X M 个 神经 元 对 应 工 个 需求 的 工 XM 条 路 由 ， 
订 为 备 选 路 由 数 , 设 G 有 N 个 点 , 则 选 路 的 要 求 是 ; 

《了 TD 每 一 呼叫 最 多 有 一 条 路 由 


向 志 是 过 
也 一 全 2 2 27VwVs 


不 多 于 一 条 路 由 时 ,其 值 达 到 最 小 囊 一 0. 
(2) 每 一 呼 咀 尽 可 能 有 一 条 路 由 ， 








和 区 


路 由 数 恰好 为 1 时 ,其 信 达 到 最 小 耳 一 
《3) 所 选 路 由 代价 ( 钥 塞 、 五 寺 ) 昌 估 。 


民 上 已 
一 芯 问 安 大 记 Crm V 工 mr) 

Z 取 最 小 值 时 对 应 最 优 路 由 ， 

总 目标 函数 。 

百 一 已 十 瑟 十 及 

2. 排队 调度 (Queuing) 

如 果 到 达 ATM 交换 单元 的 两 条 人 线 的 两 个 以 上 信 元 在 同一 时 刻 去 往 同 一 出 线 , 则 必须 
排队 . 用 神经 网 络 可 以 实现 这 种 排队 的 调度 问题 . 

设 网 络 由 六 个 神经 元 组 成 ,窗口 大 小 为 三 , 即 每 个 队列 的 前 丈 个 信 元 将 顺序 竞争 发 送 
权 , 按 如 下 方式 确定 能 量 函 教 , 

〈D) 要 求 所 有 被 选中 神经 元 具有 不 同 的 目的 地 址 ,为 此 可 选 定 一 个 抢 阵 再 , He.。 一 1 表示 
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信 元 (iv7) 与 (pv*g) 具 有 相同 的 目的 地 址 ,否则 再 gm 一 0. 
机 
互 一 全 局 2 避 疡 RonVsVn 
全 
这 样 ,Fw,m 二 1 时 信 元 (7) 与 (如 ,9? 有 冲突 ， 
mVsVm 天 0 
只 有 被 选中 的 信 元 都 不 阻塞 时 , 取 最 小 值 囊 一 0. 
《2) 每 一 个 窗口 中 最 多 只 能 有 一 个 信 元 被 选中 ,神经 元 外 部 输入 瑟 为 1 表示 了 立 位 置 有 信 
元 ,否则 六 一 0. 
悍 心 巴 
五 : 一 序 袜 袜 ( 一 ZIVo) 
当 所 有 窗口 都 有 信 元 选中 时 , 取 最 小 值 瑟 一 0. 
《3? 还 有 两 项 规定 了 信和 元 发 送 的 优先 权 , 信 元 在 队列 中 位 置 越 千 前 优先 权 越 大 , 且 队 列 越 
长 ,队列 中 的 信 元 优先 权 也 就 越 大 . 
互 ,一 一 cy CD 一 FE)Vs 


1 1 


总 的 自 标 函数 为 
五 一 杞 十 也 十 可 


4-4.4 广域网 中 的 路 由 选择 问题 


路 由 选择 的 目标 是 要 找到 网 络 内 两 节点 间 的 最 佳 路 径 , 常 用 Hopfield 神经 网 络 来 解决 这 
类 问题 . 但 是 ,由 于 Hopfield 神经 网 络 自身 的 特点 , 当 它 处 理 大 型 网 络 的 路 由 选择 问题 时 , 常 
会 出 现 无 效 解 的 情况 , 所 以 我 们 引进 基于 分 层 机 制 的 神经 网 络 算法 (Hopfield 人 Sparse Neu- 
ral Network Aigorithm, 简 称 HAS) 来 计算 广域网 内 任意 两 节点 间 的 最 佳 路 径 . 

1 对 广域网 进行 划分 并 用 遗传 算法 删除 子 网 间 的 宛 余 连接 

广域网 的 拓扑 结构 如 图 4 t 所 示 . 因为 广域网 的 节点 数 多 ,而 且 节 点 的 分 布 具有 区 域 性 ， 
所 以 要 寻找 源 节 点 和 目标 节点 的 最 佳 路 征 ,首先 要 按照 组 内 节点 间 连 接 数 扶 多 ,距离 较 近 而 组 
间 节 点 连接 较 少 的 规则 把 广域网 在 逻辑 上 划分 为 许多 子 网 . 在 广域网 中 连接 两 个 子 网 的 节点 ， 
称 为 桥 节点 , 一 个 子 网 内 两 个 桥 节 点 间 的 最 佳 路 径 , 称 为 最 优 轿 路 径 . 





图 4.11 广域网 的 拓扑 结构 
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如 果 广 域 网 中 的 两 个 子 网 有 多 于 一 条 的 连接 就 只 能 保留 一 条 最 好 的 ,可 以 用 遗传 算法 删 
除 子 网 间 的 宛 余 连接 . 具体 的 实现 过 程 是 ， 

先 对 染色 体 编 码 ,并 确定 染 色 体 的 适应 度 枉 数 , 设 染 色 体 C 为 一 六 X 六 维 矩 阵 , 即 染色 性 
是 由 六 个 基因 构成 ,每 个 基因 又 由 个 子 基 因 构 成 . 设 第 i 个 基因 的 第 j 个 子 基 因 Cy 为 开 , 
一 0 到 9 一 ! 间 的 随机 数 (s 为 子 网 ; 和 子 网 1 问 的 连接 数 ), 则 这 两 子 网 间 保 留 第 大 条 连接 ,并 


且 删 除 它们 抑 余 连 接 . 例如 一 1,1,2, 一 1 一 1, 一 1 是 5x6 矩阵 的 染色 体 C 的 第 一 个 基 
因 , 它 代表 回 4. 11 所 示 的 广域网 中 第 一 个 子 网 的 连接 情况 . Ci: 一 1 表示 子 网 1 和 子 网 2 间 保 
留 第 一 条 连接 并 且 删 除 它们 的 元 余 连接 . Ci 一 一 1, 表 示 闻 网 1 和 子 网 4 无 连接 . 由 这 样 一 个 





染色 体 C{Ci } 在 逮 辑 上 定义 了 一 个 化 简 的 广域网 ,该 网 中 任意 一 对 子 网 问 至 多 有 一 条 连接 ,并 
用 六 x 六 维 得 阵 多 {Wy} 表 示 该 广域网 中 各 子 网 闻 的 连接 耗 散 值 . ,表示 子 网 ; 和 子 网 7 间 
保留 下 来 的 宛 余 连接 耗 散 值 . 染色 体 的 适应 度 函 数 为 

太一 1 二 六 pa 《44.13) 


了 


其 中 

i 一 TO DJ)， 本 一 LO DJ) 
节点 Q 和 节点 肪 是 广域网 中 的 任意 两 个 节点 ,并 且 口 是 源 节 点 , 癌 是 目标 节点 .用 时 kstra 方法 
计算 Q 和 刁 在 原 广域网 中 的 最 佳 路 径 函 数 上 。),Q 和 了 及 在 化 简 后 的 广域网 中 的 最 佳 路 径 函 
数 天 (，) 及 两 种 最 佳 路 径 的 相对 误差 值 计 算 函 数 *(“， ). 最 终结 果 与 六 次 误差 的 平均 值 成 反比 ， 
即 车 染色 体 适 应 度 越 高 , 则 化 篇 的 广域网 越 好 ,也 越 接近 最 佳 路 径 . 

2. 子 网 内 指 最 优 路 径 用 Hopfield 神经 网 络 计算 ,而 子 网 间 的 最 优 路 径 用 双向 的 稀 陂 神经 
网 络 计算 

子 网 内 最 优 路 径 的 计算 包括 :计算 子 网 内 任意 两 节点 阳 的 最 优 路 径 ,以 及 计算 子 网 内 两 桥 
节点 间 的 最 优 路 径 . 因为 子 网 内 节点 数 少 ,所 以 用 Hopfield 神经 网 络 计算 子 网 内 最 优 路 径 .为 
了 加 快 玫 个 网 络 最 优 路 径 的 计算 速度 ,每 个 子 网 内 指定 一 节点 定期 计算 本 子 网 各 桥 节 点 间 的 
最 优 路 径 , 并 将 其 传播 到 其 他 子 网 的 节点 . 

由 最 小 选择 模型 SSMD) 构成 的 双向 稀疏 神经 网 络 可 用 来 计算 无 向 图 , 即 实 际 网 络 子 网 间 
的 最 短路 径 . SSM 是 一 些 阐 值 型 的 或 线 型 的 神经 元 组 成 的 模型 , 它 能 够 从 = 个 输入 中 找到 最 
小 的 输入 ,并 将 其 传 到 输出 . 

双向 稀 玻 神经 网 络 的 结构 如 图 4 12 所 示 , 图 中 每 个 内 有 数字 的 大 轿 是 最 小 选择 模型 
SSM, 它 代表 广 域 两 中 的 一 个 子 网 . 两 个 大 圈 间 的 一 对 双向 箭头 表示 子 网 间 的 一 条 无 向 连接 . 
这 样 , 这 个 双向 稀 酌 神经 网 络 就 能 代表 化 简 的 广域网 中 各 个 子 网 间 的 拓扑 结构 (广域网 内 各 子 
网 间 至 多 有 一 条 连接 ). 对 于 每 个 子 网 ,指向 子 网 的 箭头 为 输 和 人 ,离开 子 网 的 箭头 为 输出 . 这 样 
每 个 子 网 可 以 从 它 的 所 有 输入 中 找到 最 小 值 , 并 将 此 最 小 值 传 到 它 的 所 有 输出 - 

图 4- 12 中 的 内 有 “十 ”的 小 图, 它们 是 一 种 求 和 神经 元 ,如 图 4 13 所 示 . 转移 函 数 为 分 段 
线 型 , 即 当 和 >0 时 ,一 X 当 X<0 时 ,7Y=--0. 求 和 神经 元 位 于 子 网 / 和 于 网 上 间 , 它 通过 两 个 
有 向 箭头 与 两 子 网 连接 . 它 有 3 个 输入 : 瑟 ，Wa 和 Da- 马 是 子 网 六 的 输出 , Wx 是 子 网 ) 与 子 
网 上 的 连接 耗 散 值 ,De 是 子 网 j 内 连接 于 网 ; 和 子 网 & 的 最 优 桥 路 征 , 其 中 子 网 ;对 子 网 j 的 
输出 是 子 网 7 的 最 小 输入 值 . 一 般 情 况 下 ,这 3 个 输 和 的 权 值 为 十 {. 如 果子 网 ; 传 出 的 路 径 不 
是 合理 路 径 ( 由 源 节 点 出 发 的 路 径 为 合理 路 径 ), 则 输入 关 的 权 值 为 十 co, 即 当 路 径 不 是 合理 
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国 4.12 双向 稀 玻 神经 网 经 
路 径 时 就 将 其 屏蔽 掉 . 
从 图 4. 13 中 可 以 看 出 每 个 子 网 有 一 个 特殊 的 输入 , 它 没 有 上 一 级 子 网 , 且 它 的 输入 值 被 
定 为 十 co ,这 个 输入 被 称 为 独立 输 人 . 在 双向 稀 朴 神经 网 络 运算 时 ,独立 输入 能 保证 合理 路 径 
的 产生 - 





图 4. 13 ” 求 和 神经 元 的 结构 

3. 用 HSA 算法 计算 广域网 中 任意 两 节点 的 最 优 路 径 

假定 广域网 中 有 = 个子 网 ,而 且 化 简 后 各 子 网 间 至 多 有 一 条 连接 . 用 aX# 维 矩阵 卿 记 最 
? 个子 网 间 连 接 新 散 值 . 

《1 保存 抵 阵 环 - 

〈2? 化 简 源 和 目标 子 网 : 设 源 节 点 ;在 源 子 网 上 中 , 子 网 ! 与 子 网 下 相连 , 且 源 子 网 上 中 与 
子 网 ?相连 的 是 桥 节点 7 用 Hopfield 神经 网 络 计算 源 子 网 上 中 源 节点 ; 与 桥 节 点 j 的 最 优 路 
长 - 将 源 子 网 上 与 子 网 ! 各 的 连接 耗 散 值 s 用 s 十 Ls 代 蔡 . 由 于 厂 矩阵 的 对 称 性 ,修改 
机 。, 使 见 * 一 克 <- 其 他 与 源 子 网 相连 的 子 网 也 做 如 此 操作 . 这 样 , 源 子 网 就 被 化 简 成 只 包含 一 
个 节点 ( 源 节 点 ). 对 目标 子 网 也 做 如 此 操作 ,使 得 目标 子 网 只 包含 目标 节点 . 

《3) 根 据 化 简 的 广域网 构造 一 个 双向 稀疏 神经 网 络 . 

《4 将 源 子 网 独立 输入 值 及 源 子 网 内 各 条 路 径 长 度 均 说 为 0. 如 果子 网 的 地 名 链 用 于 记录 


第 四 章 ”反馈 型 神经 网络 。，131，* 





从 源 子 网 到 该 子 网 所 走路 径 ,在 此 步 玖 将 给 每 个 子 网 建立 一 条 地 名 链 ,这 个 地 名 链 初 始 为 
空 . 

〈5) 按 编号 顺序 从 第 1 号 到 第 ”号 将 各 子 网 异步 串 行 操作 . 每 个 子 网 从 所 有 输 人 中 找到 最 
小 输 人 ,并 把 它 传 到 所 有 输出 . 如 果 此 最 小 输 人 所 代表 的 路 径 是 合理 路 径 , 就 将 下 一 级 求 和 神 
经 元 的 输入 加 的 权 值 设 为 十 1, 将 本 子 网 的 地 名 链 复 制 为 最 小 输入 上 级 子 网 的 地 名 链 , 并 将 子 
网 代号 写 人 此 地 名 链 . 例如 , 子 网 6 的 最 小 输入 是 子 网 4 的 最 小 输出 ,而 且 子 岗 4 的 地 名 链 为 
《1,2,4)，* 即 从 源 子 网 1 到 子 网 4 的 最 佳 路 径 为 子 网 1 经 过 子 网 2 到 达 子 网 4, 则 子 网 6 复制 子 
网 4 的 地 名 链 , 并 将 本 子 网 代号 6 写 人 自己 的 地 名 链 , 子 网 6 的 新 地 名 链 为 (1 ,2,4,6). 如 果 此 
输 人 所 代表 的 路 径 是 不 合理 路 径 ,将 下 一 级 求 和 神经 元 的 输入 癌 的 权 值 设 为 + =, 循环 执行 
步 观 55) ,直至 目标 子 网 输出 最 优 解 或 超过 计算 时 间 . 

《6) 恢 复 和 矩阵 下 - 

从 求 和 神经 元 的 计算 方式 上 可 以 看 出 ,HSA 算法 计算 子 网 间 的 最 优 路 径 时 ,不 仅 考虑 到 
子 网 间 的 连接 耗 散 值 , 还 考虑 到 子 网 内 桥 路 径 的 长 度 . 

经 过 这 些 操作 ,各 个 子 网 的 输出 都 是 从 源 子 网 到 该 子 网 的 最 佳 路 径 , 即 总 耗 散 值 最 小 的 路 
径 . 因为 源 子 网 只 包含 源 节 点 ,目标 子 网 兵 包 含 目标 节点 ,所 以 目标 子 网 的 地 名 链 是 广域网 范 
国内 的 源 节 点 和 目标 节点 的 最 优 路 径 . 








$4.5 Boltzmann 机 


1984 年 由 Hinton G H 等 人 贷 助 统计 物理 学 的 概念 和 方法 ,提出 了 Boltzmann 机 模型 . 在 
节点 的 状态 变化 中 引 人 了 概率 和 隐 节 点 ,并 用 模拟 退火 算法 (Simulated Annealing,SA) 进 行 
学 习 、 


4.5.1 Boltzmann 机 的 网 络 模型 


一 、 网 络 结 机 

Boltzmann 机 是 一 种 有 反馈 的 相互 结合 型 网 络 , 假 定 网 络 由 = 个 节点 构成 ,任意 一 个 节点 
fi 的 输出 为 :mw ( 蕊 名 {0,1), 且 和 假定 节点 之 问 的 连接 权 值 矩阵 是 对 称 的 , 即 :wy 一 az ,ros 一 0. 当 
节点 ; 的 输 人 

二 (一 > aopoi 人 一 入 
ER 
发 生变 化 时 ,将 引起 输出 w 人 :十 1 的 更 新 . 这 种 更 新 在 各 节点 之 间 是 以 异步 方式 进行 的 ,并 且 
凡 概 率 P, 值 来 决定 ui(Ct 十 1). 在 此 规定 w(t 十 1) 为 1 的 概率 已 ;为 : 
Pi 一 GeoD7T (4.5. 1) 


kz) 一 去 GT tanh(z/2)) 一 


17(E 十 exp( 一 工 )》 《4. 5. 2) 

将 式 (4. 5. 27 代 人 式 (4. 5. 1) ,得 到 : 
也 一 了 ACT 十 exp( 一 古人 (区 TD ) 《4. 5. 3)》 
工 称 为 网 络 温度 , 工 的 变化 将 影响 函数 7(z) 的 形状 , 即 决定 fx) 的 曲率 . 如 图 4. 14 所 示 , 当 
输入 值 增 大 时 ,状态 为 1 的 概率 将 增高 . 同时 已 还 和 了 值 有 关 , 工 大 时 ,曲线 变化 较 平 缓 , 当 了 
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一 co 时 ,Pt 值 将 为 0. 5; 当 了 变 小 时 , 滥 线 变 陡 , 当 T~0 时 ,7Gz) 变 为 阐 值 务 数 . 由 此 可 见 ， 
Hopfield 网 络 是 Boltzmann 机 的 特例 . 








7T=1.0 
了 4.0 
me 
图 4.14 节点 的 输出 受 温 度 工 的 影响 
二 、 网 络 能 和 
网 络 的 能 量 函 数 定义 为 : 
ED 一 于 忆 忆 wwDaG 一 por 《4.5.4) 
二 多 
根据 式 (4. 5. 3? 给 定 的 概率 ,考察 w(t 二 1) 更 新 为 1 时 ,网 络 能 量 的 变化 为 ， 
EC 十 1 一 BE(G) 一 一 (1 一 aa(D)u 人 9 《4.5.5) 


由 上 式 可 知 , 当 xD0 时 ,网 络 能 量 将 减少 或 不 变 , 且 ui 人 为 袜 0 时 ,和 概率 已 大 ;相反 ,ui( 挟 
0 时 ,网 络 的 能 量 增加 或 不 变 , 且 wo <0 时 ,和 概率 P, 小 . 总 之 ,Boltzmann 机 爷 许 网 络 状态 以 
小 的 概率 往 能 量 大 的 方向 迁移 ,这 样 做 的 目的 是 使 网 络 能 量 函 数 能 够 收敛 于 全 局 最 小 点 . 
三 \Boltzmann 机 网 络 状态 变化 规则 
名 从 二 个 节点 中 贿 宙 地 选取 节点 z 
全 计算 节点 is 委 i 委 四 的 输 和 人 za(9O， 
《有 一 > rogaj 一 包 
铬 
国 以 概率 妃 来 决定 : 的 输出 wCt 二 1) ， 
五 一 FauCD7T 
Frz) 一 1AC1 二 exp 一 2)) 
罗 其 他 节点 不 变 北 
丰 十 1) 一 世人 时 V 了 天 
轧 返 回 中 . 
4.5.2 模 报 退火 算法 
一 ,模拟 退火 莫 法 (SA) 
模拟 退火 算法 是 基于 固态 物质 的 退火 过 程 ,通常 先 将 它 加 温 , 使 其 中 的 粽子 能 够 自由 移 
动 , 然 后 逐渐 降低 温度 ,粒子 也 逐渐 形成 低能 态 的 晶 格 . 若 在 性 结 点 附近 温度 的 下 降 速 度 足够 


慢 , 则 固态 物质 一 定 会 形成 最 低能 量 的 基态 . 
SA 的 特点 是 退 用 性 强 和 可 达 全 局 最 小 ,而 梯度 下 降 算法 总 是 向 改进 解 的 方向 搜索 ,这 种 

















第 四 音 ”反馈 昏 神 经 网 络 ”113 





“ 领 心 ”的 算法 往往 导致 只 能 找到 一 个 局 部 最 优 解 ,而 不 是 全 局 最 优 解 , 如 图 4. 15 所 示 , 在 SA 
算法 中 ,在 系统 能 量 减 小 这 样 一 个 总 的 趋势 过 程 中 ,允许 搜索 幅 尔 向 能 量 增加 的 方向 搜索 , 


吉 开 局 部 极 小 ,而 最 终 能 够 稳定 到 全 局 最 优 状 态 . 
忆 严 


/ 


加 稀 度 下 降 法 (SA 方法 
图 4.15 能 最 最 小 点 的 搜索 





二 .Boltzmann 分 布 
Boltzmann 机 由 于 采用 SA 算法 ,并 对 状态 迁移 引 人 了 概率 的 概念 , 即 网 络 的 状态 遵从 状 
态 变 化 规则 不 断 迁 移 ,最 终 按 不 同 的 概率 收敛 于 不 同 的 状态 ,所 以 ,Boltzmann 机 收敛 到 各 个 
状态 的 概率 分 布 恰好 和 Boltzmann 分 布 相 一 致 . Botlzmann 分 布 函数 是 关于 状态 能 量 的 函数 : 
人 Q( 正 ,) 一 《17/Zyexp( 一 下 AnT) 《4.5. 6) 
了 一 >yexp( 一 已 /iT 《4.5.7) 


其 中 ,2Z 是 概率 分 布 规格 化 常数 ,了 是 状态 变化 规则 所 用 的 温度 参数 , 开 . 是 状态 x 的 能 量 ,如 
为 波 耳 兹 曼 常 数 . 从 上 式 可 以 看 出 ,网络 往 能 量 低 的 状态 迁移 的 概率 大 , 往 最 小 能 量 状 态 迁 移 
有 最 大 的 概率 , 另外 ,从 上 式 还 可 以 看 出 ,概率 QCE.) 随 车 温度 了 的 降低 对 通 量 越 小 越 敏 感 ， 
并 且 当 T ~0 时 ,最 小 能 量 状态 实现 的 概率 为 1. 0, 其 他 的 状态 实现 的 概率 均 为 0. 利用 这 一 
点 ,网 络 的 状态 能 够 收敛 于 能 量 函 数 的 最 小 点 . 

在 SA 算法 中 ,开始 必须 从 高 温 出 发 ,达到 某 种 平衡 状态 后 ,再 破坏 平衡 状态 让 温度 徐徐 下 
降 ,最 终 温 度 达到 极限 0. 显然 , 温 弃 下 降 太 快 ,可 能 仍 滞留 于 局 部 极 小 点 . Geman S 和 Gernan D 
曾 证 明 , 如 果 按 下 式 条 件 降低 温度 ,网 络 的 状态 一 定 会 收敛 于 能 量 最 小 点 的 状态 ， 

T(GD 交 CVlgCL 上 +D 《4.5.8) 

其 中 必 是 状态 规则 的 变化 次 数 ,C 是 一 常数 .但 是 按 此 式 变化 温度 ,由 于 过 于 缓慢 ,而 使 计算 时 
问 大 大 增加 . 因此 ,在 使 用 SA 算法 时 ,一 些 肯 在 提高 速度 的 方法 被 提出 . 

图 4. 16 为 模拟 有 4 个 节点 的 Boltzmann 机 的 实验 结果 . 为 加 快 其 执行 速度 ,温度 工 的 下 
降 使 用 状态 变化 规则 次 数 的 倒数 . 

图 4. 16Ca) 是 初始 温度 为 100, 终 止 温度 也 为 100, 使 用 10000 次 状态 变化 规则 时 的 输出 结 
果 . 将 16 个 状态 出 现 的 频 度 Prob(actuai) 和 按 式 (4. 5. 6) 用 Boltzmann 分 布 理论 计算 出 的 状 
态 出 现 概率 Prob(theory) 进 行 比较 ,可 以 看 出 二 者 比较 接近 . 如 图 灿 16(b) ,如 果 将 温度 从 100 
降 鞋 0.01, 能量 最 小 的 状态 4 的 概率 Prob(actual) 为 1.0， 
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Time Temperature 
.0 100- 9000000000 
10000.0 100- 000000000 
State Energy Prob(theory) ProbKacrualiD) 
0 : 0 0.066786738 0. 069100000 
1 提 244 0. 005821189 0. 004800000 
2 和 236 0. 006306019 0. 007300000 
588 0.000186655 0. 000100000 
到 一 150 0 299317394 0. 311700000 
5 一 17 0. 079162645 0. 076200000 
6 提 315 0. 002861954 0. 003700000 
?7 提 556 0. 000257047 0.000200000 
8 下 一 93 0. 169271600 0. 153400000 
9 183 0. 010713499 0.011800000 
旦 259 0. 005010344 0. 007500000 
b 四 643 0. 000107690 000000000 
民 了 一 149 D. 296339136 0. 297700000 
dQ 36 六 056931904 0. 054900000 
站 了 432 0. 000888256 0. 001500000 
f 705 0. 000057931 0. 000100000 
(9) 
Time Temperature 
和 0 100. 000000000 
10000. 0 0.010000000 
State nerey Prob(theory) ProbKactual: 和 
0 0 0. 000000000 0. 000000000 
1 4 244 0. 000000000 0. 000000000 
人 上 236 0. 000000000 0. 9000000000 
] 588 0. 000000000 0.000000000 
妇 了 一 150 Tt 000000000 1.000000000 
5 ， 一 17 0.000000000 .006000000 
6 335 0,. 000000000 0. 000000000 
了 了 556 0. 000000000 0. 000000000 
名 一 93 0. 000000000 0.000000000 
3 ， 183 0. 000000000 0.900000000 
旧 259 0. 000000000 0. 900000000 
了 643 0. 000000000 0.000000000 
已 一 149 0. 000000000 .000000000 
d 上 36 0.000000000 0. 600000000 
避 432 0. 000000000 0. 000000000 
于 于 ?05 0. 000000000 0. 000000000 
《b) 


图 4.16 SA 算法 的 煤 氢 结果 
4-5-.3 Boltzmann 机 的 学 习 算法 


使 Bolttzmann 机 遵从 状态 变化 规则 进行 更 新 ,平衡 状态 中 各 状态 出 现 的 概率 收敛 于 用 
Bottzamann 分 布 所 表示 的 平衡 状态 . 而 各 状态 的 能 量 是 由 节点 间 的 连接 权 值 和 阔 值 来 次 定 ,四 
而 适当 调节 网 络 参 数 能 够 实现 所 希望 的 平衡 分 布 ,这 就 相当 于 Boltzmann 机 的 学 习 . 学 习 的 目 
的 是 要 通过 环境 给 出 的 一 组 范例 (一 组 已 知 IO 值 的 例子 ) , 求 出 Boltzmann 机 中 各 节点 间 的 
连接 权 值 . 

Boltzmann 机 的 学 习 可 分 为 自我 回忆 型 和 相互 回忆 型 两 种 ,其 形态 和 功能 昌 有 差异 ,但 学 
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习 算 法 是 相似 的 . 如 图 4. 17 所 示 , 图 (a)? 为 自我 回忆 型 ,将 节点 分 为 可 视 节 点 集 (Visible U- 
nits) 和 隐 贡 点 集 (Hidden Units) 两 部 分 . 学 习 过 程 为 不 断 调整 权 值 ww ,使 可 视 节点 集合 中 的 
状态 的 平衡 分 布 和 所 希望 的 概率 分 布 相 一 致 , 即 尽 可 能 地 遥 近 外 部 模式 的 概率 分 布 . 图 (b) 为 
相互 回忆 型 ,节点 分 为 输入 节点 集 . 输 出 节点 集 和 放 节点 集 三 部 分 . 当 固 定 输 人 集 状态 时 ,使 输 
出 集 的 平衡 分 布 和 所 希望 的 概率 分 布 相 一 致 . 输入 集 状 态 ( 相 当 于 输 人 模式 ) 和 输出 集 状态 ( 相 
当 于 输出 模式 ) 问 存在 对 应 关系 . 例如 ,对 输入 集 固定 为 表示 "苹果 ”的 模式 时 ,在 输出 集 对 应 为 
“ 红 的 "“ 贺 的 ?等 多 个 模式 ,以 一 定 的 概率 出 现 , 这 种 相互 回 亿 型 能 够 实现 联想 记忆 . 


御 入 芒 丰 案 1 输出 节点 化 \、 























回 














4a) 自我 回忆 型 人 b) 相互 回忆 型 


转 4. 17 Boltzmann 机 的 学 习 算 法 
下 面 介 绍 自 我 回忆 型 算法 . 很 定 下 视 节点 集 的 状态 为 了 ,节点 数 为 m, 则 V. 接 10,1}", 同 
样 , 降 节 点 集 的 状态 设 为 鼠 ,节点 数 为 亚 , 则 瑟 E (0,1)” ,其 中 上 避 为 状态 号 . PCV。) 为 可 视 
节点 集 所 希望 的 分 布 函数 , 即 外 部 模式 的 概率 分 布 . 网 络 全 部 车 点 的 平衡 分 布 为 Qr (V. ,He)， 
驳 表示 网 络 参数 ,网 络 状态 (Y.。 ,五 ,) 的 能 量 用 王 r(V。, 有 表示, 则 Q。V., 瑟 ) 能 够 用 下 面 的 
Boltzmann 分 布 给 出 


Qr(V ,有 环 ) 一 (LA2)exp( 一 区 (Vs 下)/ 避 《4.5.9) 
2 一 expC 忆 wywCV。 ED)VA8aT) (4. 5. 10) 
可 视 节 点 集 的 状态 分 布 函 数 Qr(Y.) 为， 
Qw(V。)》 一 闷 QrCYeB) (4.5. 11) 
此 时 ,所 希望 提 分 布 P(V.) 和 网 络 所 实现 的 分 布 Qr (V.) 间 的 差异 用 G(W) 来 表示 : 
GOW] = 2P(VJlg[CP(V)/QrCVY。) (4 5. 12) 


GCW) 称 为 Kullback 信息 量 ,表示 分 布 函数 间 的 距离 . 对 于 任何 Qr(V.),G(CW)Z20, 当 PCV.) 
一 QwtVe) 时 ,G(W) 一 0 成 立 .因而 两 络 的 学 习 过 程 相当 于 求 CG(W) 的 极 小 值 , 而 G(WI) 又 由 
殉 值 决定 , 驳 的 微小 变化 量 AW 的 变化 使 CG( 允 7) 的 变化 晤 为 ， 
G( 允 十 AW) = G(V) 十 AWCaG/SW) (4 5. 13) 
< 为 一 小 常数 , 设 : 
AW 一 一 ce(3G/3W) 《4 5。 14) 
GCW) 一 定 减 小 , 即 ; 


.116 计 算 智 能 





G( 了 十 AWV) 委 GCW) 《4. 5. 157 
因而 , 克 从 给 定 的 初始 值 开 始 , 使 用 式 (4. 5, 14) 不 断 地 修正 ,将 使 G(W> 趋 于 极 小 值 . 在 式 
64. 5. 14) 中 G 对 殉 的 偏向 分 ,由 下 式 给 出 ， 


(得 ) 一 一 {( 弘 CE8 一 PPP) 《4. 5. 167 


了 ViViexp( 一 Br(Y Br)ApaT) 


Po = yP(V ) 二 《4. 5. 17) 
相 之 yexp( 一 Erw(V-, 瑟 ?ViaT) 
7 





忆 拉 一 (LVZD) > ViViexp( 一 瑟 wfV。 He)AAsT) 《4. 5. 18) 
< 


P 信 "是 可 视 节 点 集 的 输出 值 遵 照 所 希望 的 分 布 王 (V。) 来 固定 , 仅 是 隐 节 点 集 的 节点 按 状 态 变 
化 规则 实现 更 新 , 当 达 到 平衡 状态 时 ,节点 宇和 节点 7 的 输出 同时 为 1 的 期 望 值 . P 和 是 网 络 
节点 全 部 更 新 时 , 当 达 到 平衡 状态 时 ,节点 宇和 节点 j 同时 输出 为 1 的 期 望 值 . 将 这 些 式 子 代 
入 式 (4. 5- 14) 能 求 出 节点 间 权 秆 的 修正 量 : 
AW; 一 (e/TDCP 史 一 PP 人)》 (4.5.19) 
式 中 右边 第 一 项 是 和 节点 趟 节点 了 的 输出 相关 ,是 按 比 例 增 大 权 值 的 项 ,和 Hebb 规则 相 类 
似 . 右边 第 二 项 是 按 比 例 减 小 权 值 的 项 . 称 做 反 学 习 (unlearning). 总 之 ,网 络 通过 可 祝 节 点 集 
和 外 部 环境 相 接触 时 ,进行 Hebb 学 习 , 当 切断 和 外 部 环境 的 联系 时 (睡眠 状态 ) ,进行 反 学 习 ， 
因此 称 Boitzmann 机 的 学 习 过 程 为 “睡眠 和 记 亿 ” 
Boltzmann 机 的 学 习 算法 可 归纳 为 ; 
鳃 用 概率 P(V。) 固 定 可 视 节 点 集 的 各 节点 输出 值 为 了 .. 
图 中 节点 集 的 状态 更 新 到 温度 工时 的 平衡 状态 . 
图 全 部 节点 对 位 和 万 在 平衡 状态 时 ,计算 同时 输出 为 1 的 次 数 鸡 ?. 
图 使 可 视 节 点 集 也 更 新 ,全 部 节点 的 状态 更 新 到 温度 工时 的 平衡 状态 . 
名 全 部 节点 对 人 和 7) 在 平衡 状态 时 ,计算 同时 输出 为 1 的 次 数 覆 ”. 
图 反复 执行 中 至 加 ,计算 邓 ) 和 ?2 扩 "的 平均 值 来 作为 已 扩 和 王 休 ， 
加 对 全 部 节点 问 的 权 值 按 下 式 修 正 : 
AH 一 (Ce/TICPPp 一 P 人 ) 




















图 返回 侣 . 

上 而 学 习 算 法 的 外 和 图 是 为 了 实现 温度 工时 的 平衡 状态 . 遵从 状态 变化 规则 ,了 从 高 温 
开始 ,用 模拟 退火 算法 来 冷却 ,能 够 实现 在 稳定 时 温度 了 的 平 街 状 态 . 

以 上 算法 能 够 用 程序 模拟 实现 ,但 是 计算 量 太 大 ,为 此 只 考虑 可 视 节点 集 和 隐 节 点 集 各 一 
个 节点 的 自我 回忆 型 Boltzmann 机 ,如 图 4. 18 所 示 . 此 时 ,可 视 节 点 和 隐 节 点 各 有 两 个 状态 . 


学 习 的 目的 是 实现 可 视 节 点 集合 所 希望 的 分 布 ,给 出 Yo 为 1 的 概率 . 
隐 节 点 集 可 视 节点 


4.18 实验 用 的 Beltzmatmm 机 
图 4. 19 为 Boltzmann 机 学 习 的 例子 ,图 (a) 是 使 用 学 习 规 则 前 的 初始 状态 ,可 视 节 点 输出 


第 四 章 ” 反 二 型 神经 网 络 








*， il? " 


为 1 时 所 希望 的 概率 为 0. 1, 在 模拟 退火 算法 中 ,温度 从 100 开始 ,冷却 到 10. 在 初始 状态 时 ， 
网 络 实现 的 可 视 节 点 输出 为 1 的 概率 为 0. 616, 和 所 希望 的 分 布 间 的 Kullback 信息 最 G(W) 
为 0. 584769. 图 (b) 是 在 学 习 过 程 中 的 输出 ,通过 不 断 地 学 习 , 概 率 变 为 0. 09800,G(W) 单 调 





减 小 为 0.000022. 


《Boltzmann Machiney 


《Paramerers) 1 
magnitude 1 10, 000000 
ramdom 一 seed = 3 
initial 一 state 4 0 
start 一 temperature ， 100. 000000 
end 一 temperature ， 10. 000000 
accurnulation : 1000 
tnain 一 loop 3 10 
sub 一 loop 3 23 
epsilon ， 0. 100000 
on 一 probaliliry ， 0. 100000 

[一 二 
Cweights) 
8.00000 一 10. 00000 
一 10. 00000 10.00000 
《Test》 
State Energy Prob<theory>> 
[o:00] 《0. 00000 ， 0.00000， 
[li:01] (一 8.00000、 0.00000， 
[2:10] 《一 10. 00000， 0.00000， 
[3:i1] (一 8.00000， 0.00000， 
fen 一 probabilitg] 。 ， 0.616000 
[G 一 measure] 3 0. 584769 
《Ca 
fo] 
[en 一 probabifity] : 0. 391000 
[G 一 measure] 0 215165 
to 
[on 一 probabitir 呆 1 0. 319000 
[G 一 measure] 0. 134947 
[2] 
[on 一 probability] 0. 226000 
[G 一 measure] 0.054204 
[3] 
[on 一 probabilito] 0.226000 
[G 一 measure] .054204 
[4 
[on 一 probability] 0.159000 
LG 一 meaaure] 9.011649 
[5 
[on 一 prohabilitg] ， 0.139000 
[G 一 measure] .006940 
[6 
CCweights》 
16. 98580 一 16. 76560 


一 16. 76560 一 7.80080 


Prob<act> 
0.13100) 
0.25300) 
0. 35800) 
0. 25800》 
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CTest) 

State Energy Prob<<thecory>> Prob<act>> 
[o:oo] 《0.p0000. .49219， 0. 14600》 
[1:01] 《一 16. 98580 20. 42188， 人 -75600》 
[2:10] 《7.80080， 0.01563+ 0. 04300)》 
[3:11] 《7. 58060， 0. 07031， 0. 05500) 
[on 一 probabilit， 0. 098000 

[G 一 measure] 0. 000022 


Cb) 
图 4.19 模 报 Boltzmanm 机 的 学 习 


8$4.6 双向 联想 记忆 网 络 


单 向 线性 联想 器 实现 的 只 是 线性 映射 ,而 具有 反馈 功能 的 双向 联想 记忆 网 络 (BAMD) 才 是 
真正 意义 下 的 异 联想 记忆 . 

一 、 网 络 结构 

双向 联想 记忆 网 络 是 一 种 漆 层 的 异 联想 .反馈 型 网 络 , 拓 朴 结构 如 图 4. 20 所 示 ,BAM 的 
适 行 是 双向 的 ,对 网 络 的 一 端 输入 , 则 可 在 另 一 端 得 到 输出 ,该 输出 又 反馈 回来 …… 如 此 反复 ， 
直到 达到 稳定 . 双向 联想 记忆 网 络 也 分 为 离散 型 和 连续 型 两 类 ,这 里 只 介绍 最 基本 的 离散 型 网 
络 . 

设 输 入 层 有 ?个 节点 ,天 E{ 一 1, 十 1)” ,输出 层 有 个 节点 ,YE{ 一 1, 十 1)”，* 正 向 权 值 矩 
阵 为 研 , ,逆向 权 值 矩阵 为 本 :- 


网 络 的 状态 方程 为 : 
天 (0 一 六 5 矿 (G 一 1)87 7 了 :>)》 
《4. 6. 1) 
(8 一 六 CCEG 一 1 克 :)8W71) 
转移 画 数 为 
扩 (r) 一 态 (z) 一 SECZ) 《4 .6.2) 
二 、 学 习 规 则 


采用 Hebb 学 习 规 则 , 设 XE { 一 1, 十 1} "GE{ 一 1, 十 1)” ,考虑 阐 值 为 0 的 情形 : 
四 四 

研一 az> TY， 了 现 一 ay YT 

关 


关 1 二 
其 中 为 大 于 零 的 常数 , 当 w 一 1, 显 然 有 本 一 Hy ,也 可 以 用 多 代表 琴 ,用 代表 多 :. 
三 、 网 络 的 稳定 性 
网 络 的 能 量 函 数 可 定义 为 


ECKD 一 一 了 RHWRTT 一 于 rr 一 XWTT (4.6.3) 
可 以 证 明 由 式 (4. 6. 3) 定 义 的 能 量 函 数 随 着 网 络 状态 的 迁移 而 下 降 , 即 网 络 是 稳定 的 . 





第 到 童 ”反馈 型 神经 网 络 -ii9 












































(b) 区 化 画 
图 4.20 双向 联想 记忆 网 结 


84.7 海 明 网 络 


一 、 网 络 结构 

1987 年 由 Lippmann 等 人 提出 的 海 明 (Hamming) 网 络 是 一 种 由 上 、 下 两 层 组 成 的 网 络 ， 
拓扑 结构 如 图 4. 21 所 示 . 设 下 层 节点 数 为 a 瑟 GE (一 1, 十 1}”… 上 层 节点 数 为 mm,YE (一 1 十 
1)”" ,两 层 之 间 权 值 为 ww ,ii 一 1,2，…moj 一 1,2,…,ma; 上 层 各 单元 的 立 值 为 8. 上 层 各 节点 之 
间 的 权 值 为 姑 ,天 ,1 一 1,2,… ,ma 最 上 层 阔 值 取 零 . 


转移 函数 定义 为 
0， 当 了 < 8 
0 当 # 委 zz 扫 CC 《和 7. 1 
常数 ， 当 工 盖 C 
“其 中 9 为 羡 值 ,C 是 饱和 值 . 候 定 Hamming 网 络 在 任何 情况 下 都 不 会 达到 亿 和 . 
二 、 学 习 阶 段 


Hamming 网 络 的 学 习 过 程 即 如 何 确定 权 值 ws 和 如 以 及 阔 值 6, 以 使 系统 达到 稳定 的 过 





120 “" 















































国 > 于 -1 


天 4 21 Hamming 网 络 的 拓扑 结构 


程 - 
假定 在 网 络 中 存 人 六 个 样本 中 ,一 1*2，…,，N ,那么 上 下 两 层 单 元 之 间 的 权 值 取 为 
一 己 全 一 12 一 12yNV) 《4.7.2) 
阐 值 取 为 
6 一 zy/2 (4.7.3) 
上 层 单 元 之 间 的 权 值 取 为 
十 1， 当 大 一 
人 当 & 1 (4. 7- 4 





其 中 se<1l/mrk,t 一 1,2， ,mm 这 表示 上 层 单元 之 间 的 连接 方式 是 自身 为 正 反馈 ,相互 之 间 为 
负 反 馈 , 即 任 一 单元 均 有 维持 自身 并 抑制 其 他 单元 的 趋势 . 

三 、 工 作 阶 段 

Hamming 网 络 的 具体 运行 方式 是 当下 层 单元 输 人 一 个 于 时 ,通过 连接 zw 输入 信和 号 到 上 
层 单元 ,形成 上 层 单 元 的 初始 状态 为 





国 (0) 一 放 ( 实 mn 一 %)， 六 一 1 2， 7 《4 7. 57 
t| 
上 层 单元 按照 下 面 的 选 代 方程 演化 ， 
相信 十 1) 一 人 疙 一 eacs(D) 《4.7.6) 


AAA 


些 方 各 可 以 由 式 (4.7.4) 给 出 的 权 值 直接 推导 出 来 ,上 层 单元 的 选 代 过 程 一 直 进行 到 收敛 于 一 
个 稳 态 为 止 . 这 是 上 层 单元 之 间 的 一 个 竞争 过 程 . 注意 其 稳 态 一 般 只 有 某 一 个 单元 ; 有 正 的 输 
出 ,而 其 余 单元 输出 都 为 零 . 这 可 以 看 成 是 对 下 层 单元 的 一 种 分 类 . 

一 般 说 来 ,当下 层 输 入 一 个 瑟 , 代 表 与 筷 最 靠近 的 样本 的 上 层 单元 在 竞争 中 获得 胜利 , 同 
时 大 与 样本 要 足够 接近 ,以 满足 冰 值 条 件 . 当下 层 输入 为 天 时 ,由 式 (4.7.2), 式 (4.7.3) 和 式 
(4.7.5? 可 以 得 出 上 层 了 单元 的 输入 取决 于 下 式 
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， 1 忆 
衬 zuztg 一 去 人 袜 2， 一 N) 二 

1 一 

二 ( 一 N) 一 

一 dz( 生 大) 《4.7.7》 


其 中 罗 "发 是 大 与 千 的 内 积 , 式 中 定义 aa (大 ,加 为 冬 量 和 与 大 之 向 的 Hamming 距离 ,等 
于 两 个 矢量 中 取 不 同 值 ( 即 相反 值 ) 的 分 量 的 数目 . 两 个 相同 矢量 的 Hamming 距离 为 零 ， 


Hamming 工 离 的 最 大 值 为 上 
总 之 , Hamming 网 络 能 够 对 离散 输 人 模式 进行 在 海 明 芹 离 最 小 意义 下 的 识别 及 育 类 ,由 


拓扑 结构 看 到 下 层 是 匹配 子 网 络 , 在 学 习 阶 段 该 子 网 络 记忆 存储 样本 输 人 模式 ,在 工作 阶段 该 
子 网 络 计算 输 人 模式 与 样本 模式 的 匹配 程度 ,并 把 结果 送 人 上 层 的 竞争 于 网 络 . 





”122“ 计 算 多 能 





第 五 章 ” 自 组 织 竞 争 神经 网 络 模型 


385.1 梳 述 


在 实际 的 神经 网 络 中 ,存在 一 种 侧 抑 制 的 现象 , 即 一 个 神经 细胞 兴奋 后 ,通过 它 的 分 支 会 
对 周围 其 他 神经 细胞 产生 抑制 ,这 种 侧 抑 制 在 养 艇 和 海马 中 存在 ,在 人 跟 的 视网膜 中 也 存在 . 
这 种 抑制 使 神经 细胞 之 间 出 现 竞争 ,一 个 兴奋 最 强 的 细胞 对 周围 神经 细胞 的 抑制 也 强 , 虽然 一 
开始 各 个 神经 细胞 都 处 于 兴奋 状态 ,但 最 后 是 那个 输出 最 大 的 神经 细胞 “ 胜 ? 了 ,而 其 周 团 的 神 
经 细胞 “ 败 * 了 - 

另外 ,在 认 知 过 程 中 除了 从 教师 那儿 得 到 知识 外 ,还 有 一 种 不 需要 教师 指导 的 学 习 , 例 如 : 
要 上 玫 出 生 后 , 听 到 外 界 声 音 的 刺激 ,他 自然 会 发 出 声 ,并 自己 在 外 界 环 境 中 学 习 抓 东西 .走路 
等 . 在 动物 中 这 种 现象 更 为 普遍 . 这 种 直接 依靠 外 界 刺激 “无 师 自 通 ” 达 到 的 功能 有 时 也 称 为 
自学 习 、 自 组 织 的 学 习 方 法 ， 

自 组 织 竞争 人 工 神 经 网 络 就 是 基于 上 述 两 种 生物 结构 和 现象 的 基础 上 生成 的 , 它 的 权 是 
经 过 Hebb 规则 或 类 似 Hebb 规则 学 习 后 得 到 的 . 





85.2 自 组 织 特 征 上 映射 网 络 


人 脑 且 由 巨 量 的 神经 绸 胞 组 成 ,它们 并 非 起 着 同样 的 作用 ,处 于 不 同 空间 的 神经 细胞 分 工 
不 同 ,芬兰 学 者 ohonen 认为 一 个 神经 网 络 接受 外 界 输 人 模式 时 ,将 会 分 成 不 同 的 区 域 ,各 区 
域 对 输入 模式 将 会 有 不 同 的 响应 特性 ,同时 这 一 过 程 是 自动 完成 的 ， 

各 神经 元 间 的 连接 权 值 具有 一 定 的 分 布 ,最 临近 的 神经 元 互相 激励 ,而 较 远 的 神经 元 之 间 
相互 抑制 ,而 更 远 的 神经 元 之 间 又 有 较 弱 的 激励 作用 . 如 图 5. 1 所 示 , 在 受到 外 界 刺激 时 ,刺激 
最 强 的 地 方形 成 一 个 Babble( 奴 西 哥 帽 ), 在 此 Bubble 区 中 ,神经 元 权 向 量 会 自动 调节 ,直到 
与 输 人 向 量 的 某 一 最 大 分 量 方向 相 重合 为 止 . 











输出 层 








输入 层 


图 5$.1 神经 元 的 作用 分 布 曲线 图 5.2 网 络 结构 
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5.2.1 网 络 拓扑 结构 及 工作 过 程 


自 组 织 胸 射 网 络 结构 见 图 5. 2 所 示 , 图 中 上 层 为 输 册 层 ,假定 有 2 个 节点 ,输出 层 中 的 节 
点 是 以 二 维 形 式 排 成 一 个 节点 矩阵 ,输出 节点 之 间 也 可 能 实现 局 部 连接 , 宅 们 中 的 每 个 节点 是 
一 个 输入 样本 的 代表 . 输入 层 处 于 下 方 ; 若 输入 向 量 为 ” 维 , 那 么 输入 节点 有 个 ,输入 节点 与 
输出 层 的 所 有 节点 通过 权 值 实现 全 互联 . 在 输出 层 竞争 是 这 样 进行 的 ,对 于 获胜 的 节点 ) 在 
其 周围 Ni 区 域内 的 节点 在 不 同 的 程度 上 得 到 兴奋 ,而 在 凡 , 区 域 以 外 的 节点 都 被 抑制 ,这 个 
区 域 凡 可 以 是 正方 形 也 可 以 是 六 角形 ,如 图 5. 3 所 示 . 区域 Ni 是 时 间 : 的 函数 , 随 着 上 的 增 
加 ,的 面积 成 比例 维 小 ,最 后 琵 下 一 个 节点 ,或 一 组 节点 ,它们 反映 一 类 样本 的 属性 . 自 组 织 
映射 网 络 为 一 个 无 教师 指导 的 、. 自 适 应 、. 自 组 织 的 网 络 

对 于 任意 一 个 输 人 节点 L 和 输出 节点 1 有 : 


一 (1 (2 且 :Z 一 WsXX 《5. 2. 1) 
后 
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图 5.3 ef9 的 形状 变化 情况 
5.2.2 自 组 织 映射 学 习 算 法 


假定 共有 天 个 输入 模式 ,对 于 某 个 输入 模式 通过 竞争 ,逐渐 收 侠 到 样本 空间 所 划分 的 天 
个 子 集 的 中 心 . 当 某 一 模式 输入 时 ,对 其 一 输出 节点 给 予 最 大 的 刺激 ,以 指示 该 类 模式 的 所 属 
区 域 , 而 局 时 对 获胜 周围 的 一 些 节点 给 予 较 大 的 刺激 . 当 另 一 输入 模式 输 人 时 ,获胜 区 域 移 到 
其 他 区 域 . 

在 训练 过 程 中 定义 获胜 节点 的 邻 域 为 N (5, 囊 示 在 时 刻 上 以 节点 Ni 为 中 心 的 某 一 半径 
内 的 所 有 节点 随 着 训练 过 程 的 进行 Ni (5 的 半径 将 逐渐 缩小 ,最 后 只 剩 Ni 本 身 . 即 在 初始 阶 
段 不 但 对 获胜 节点 Vi 调整 权 值 ,也 对 其 周围 节点 调整 权 值 , 直 到 最 后 仅 对 和 调整 权 值 . 保证 
对 于 某 一 类 输入 模式 ,获胜 节点 做 出 最 大 的 响应 ,面相 邻 节 点 做 出 较 大 的 嘛 应 . 几何 上 相 邻 的 
节点 代表 特征 相近 的 模式 ， 

网 络 的 学 习 算法 为 ， 

印 连 接 权 值 的 初始 化 

上 一 0:0 二 本 <1iE (112 Et12m)y 
四 对 网 络 输入 一 个 样本 模式 . 
ME 一 《〔X XXX) 
国 计 算 研 与 全 部 输出 节点 间 的 权 值 向 量 克 的 蝶 离 
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(一 六 人 一 Wi (COD)， 了 反 {12， (5. 2. 2) 
国 选择 有 最 小 上 距 离 的 节点 Ny 为 竞争 获胜 节点 ， 
才 一 min(d)， 了 E (12 pe} 
回调 整 权 值 
AmWy 一 aCDBON NT CR 一 Way(CTD)， EN CD 23) 
AW; 一 0， 了 人 CT 


其 中 ,0<<a( 反 1 ,为 增益 函数 , 随 著 时 间 上 而 递减 16CNi，Ny ) 为 限界 函数 , 随 郑 N; 臣 离 递 
减 . 

久 若 还 有 输入 样本 则 转 @@ , 当 所 有 的 样本 输入 完 , 且 满足 ， 

tmaxK| Wwtt 十 1 一 Wy 人 DD1)<e， 人 (12 和 人 2 (5.2.4) 

或 者 完成 指定 的 学 习 次 数 后 算法 结束 ,否则 转 @. 

< 和 六 ( 纪 没 有 一 般 化 的 数学 表达 方法 , 赁 经 验 选 取 . 初始 时 ,N7 (选取 较 大 ,后 逐 洒 
变 小 ,a( 纪 开始 时 较 大 ,后 逐渐 变 为 4. 

从 自 组 织 映 射 网 络 算法 来 看 ,该 网 络 有 以 下 特点 : 

(1) 网 络 中 的 权 值 是 输 和 人 样本 的 记忆 .- 如 果 输 出 节点 ; 与 输入 层 = 个 节 点 的 连接 权 值 向 量 
用 邢 , 表 示 , 对 应 某 一 类 样本 下 输入 ,使 世 达到 的 匹配 最 大 ,那么 网; 通过 学 习 以 后 十 分 靠近 
环 ,因此 以 后 当 * 再 次 输入 时 , 色 节点 必定 兴奋 ,区 是 样本 瑟 x 的 代表 . 

《2) 殉 络 学 习 时 对 权 值 的 调整 ,不 只 是 对 兴奋 的 节点 所 对 应 的 权 值 进行 调整 ,而 对 其 周 国 区 域 
六 内 的 节点 局 时 进行 调整 ,因此 对 于 在 以 内 的 节点 可 以 代表 不 只 是 一 个 样本 3 ,而 是 与 了 比较 
相近 的 样本 都 可 以 在 NY 内 得 到 反映 ,因此 这 种 网 络 对 于 样本 的 畸变 和 噪声 的 容 限 大 . 

53) 网 络 学 习 结果 使 比较 相近 前 输入 祥 本 在 输出 二 维 平面 上 位 千 也 比较 接近 . 


5.2.3 自 组 织 映 射 网 络 的 工作 原理 


Linsker 提出 了 一 种 具有 自 组 织 (self-organization) 作 用 的 神经 网 络 . 这 种 网 络 在 没有 告 
知 分 析 什 么 特征 的 情况 下 ,甚至 在 呈 标 识别 不 知 是 否 正确 的 情况 下 ,要 让 神经 网 络 构成 的 知觉 
系统 识别 环境 中 的 特殊 性 质 . 

在 知觉 研究 中 ,有 网 个 问题 需要 解决 :一 是 神经 机 制作 用 于 知觉 输入 是 由 什么 起 作用 的 ? 
二 是 神经 机 制 的 本 身 是 怎样 产生 的 ? 

所 请 的 组 织 原理 是 指 :组 织 原理 能 够 解释 知 党 系统 是 如 何 发 生 和 起 作用 的 基本 原理 ;由 维 
织 原 理 可 以 推断 出 更 多 详细 的 经 验 信息 ;由 组 织 原理 可 以 引导 出 有 益 的 经 验方 式 以 及 可 以 导 
出 可 能 的 预测 . 

在 人 类 的 知觉 系统 和 视觉 系统 中 ,视觉 系 统 受到 了 科学 家 的 广泛 研究 ,一 般 认为 和 的 视觉 
系统 有 如 下 特征 : 

《1) 视 觉 系 统 是 哺乳 动物 最 好 的 知觉 系统 . 

《2) 视 觉 信息 是 分 层 处 理 的 . 

“3) 简 单 特性 (如 方向 等 ) 在 视觉 早期 处 理 . 复杂 特性 在 视觉 的 较 后 时 间 肯 里 处 理 . 

〈4) 颜 色 .运动 按 平 行 方式 处 理 . 

《5) 视 网 膜 和 脑 皮层 是 分 层 的 , 晨 内 细胞 交互 , 层 问 细胞 也 发 生 交互 作用 、 
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《6) 在 一 企 生理 层 内 ,至少 在 视觉 早期 ,存在 对 输入 信 生 执行 类 似 功能 的 细胞 群体 . 这 种 细 
胞 群体 可 以 着 做 一 个 滤波 器 短 阵 ,每 一 个 群体 的 细胞 只 接受 有 限 “ 接 爱 域 "的 输 人 信号 并 进行 
处 理 . 在 一 个 生理 层 内 ,存在 多 类 这 样 的 组 胞 群体 . 

〈7) 细 胞 的 反映 功能 是 非 线性 的 . 但 "线性 组 合 * 是 对 这 种 非 线 性 功能 的 很 好 的 模拟 - 

由 上 述 假 设 ,万 其 是 具有 特殊 功能 细胞 群体 的 假设 ,Linsker 提出 了 一 种 具有 自 组 织 功能 
的 人 工 神经 网 络 .在 这 种 自 组 织 网 中 采用 Hebb 学 习 规 则 , 即 : 若 纪 胞 1 是 细胞 2 的 若干 输 和 人 
细胞 中 的 一 个 , 且 当 细 胞 2 能 动 性 高 时 ,细胞 1 的 能 动 性 也 趋 高 , 则 这 时 由 细胞 工 放 电 引 起 细 
胞 2 放电 的 可 能 性 增 大 , 在 这 种 自 组 织 网 中 ,是 根据 输 人 与 输出 问 相 关 能 动 性 的 程度 来 修正 并 
调整 网 络 神经 元 间 的 联结 强度 . Linsker 提出 的 自 组 织 和 人工 神经 网 络 如 图 5.4 所 示 . 
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图 5-4 ILinsker 自 组 织 人 工 神 经 网 络 











5.2.4 网 络 的 应 用 实例 


KKohonen 自 组 织 特征 映射 网 络 的 应 用 十 分 广泛 ,例如 在 机 器 人 视觉, 字母 的 拓扑 排序 . 语 
音 识 别 . 向 量 量化 以 及 组 合 优化 等 领域 得 到 了 应 用 . 

一 、 折 器 人 的 视觉 问题 

Kohonen 网 络 的 输出 节点 构成 三 维 立 体 数 组 ,把 机 械 手 相对 于 空间 中 某 一 点 的 位 置 作为 阅 
络 的 输 和 人 参量. 这 些 输入 参量 就 决定 了 一 个 机 械 手 在 某 一 空间 的 状态 . 于 是 ,可 以 用 这 些 状态 训 
练 网 络 ,使 用 网 络 的 三 维 立 体 输出 的 状况 反映 该 机 械 手 的 有 效 动作 及 应 回避 的 障碍 物 - 

二 ,字母 的 拓扑 排序 

假设 输 人 有 26 企 英文 字母 和 1 一 6 的 六 个 数字 共 32 个 样本 ,每 个 符号 对 应 一 个 五 维 矢量 
忆 , 各 全 符号 与 相应 矢量 不 的 五 个 分 量 的 对 应 关系 如 表 5. 1, 如 果 按 照 这 些 符号 所 对 应 的 输 人 
矢量 的 相似 度 ( 表 示 它 们 在 一 个 5 维 空间 中 的 接近 程度 ) ,把 这 些 符号 画 在 一 个 树 形 图 中 ,由 表 
5.1 着 到 A,B,C,D,E 为 一 类 ,因为 症 一 一 za 一 4 一 0,E,G,H,IJ 是 另 一 类 ,z 都 为 3 外 ， 
五 一 丰 一 0, 这 样 就 可 根据 表 5. 1 得 到 图 5. 5 所 未 的 树 形 结构 . 

表 5.1 
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图 5.5 反映 表 5.1 中 32 个 符号 相似 关系 的 树 形 结构 
现在 将 与 各 个 符号 对 应 的 慰 随 机 地 选取 后 送 人 一 个 二 维 六 角形 神经 元 竹 列 进行 学 习 , 完 
成 学 习 后 ,对 于 每 一 个 符号 神经 元 阵列 中 有 一 个 对 其 最 敏感 的 神经 元 ,就 是 说 , 当 输入 某 个 符 
号 的 矢量 五 时 ,与 其 相应 神经 元 的 输入 加 权 和 较 其 他 神经 元 都 大 ,这 种 对 应 关系 如 图 5. 6 所 
站 - 
5, 6 是 通过 自 组 织 学 习 后 得 到 的 结果 ,其 中 * 表示 对 任何 输入 样本 都 不 会 发 生 兴奋 , 答 
人 的 字母 没有 语义 ,但 经 自 组 织 学 习 后 形成 比较 有 规则 的 拓 托 结构 ,A.B\C.D.E 为 一 类 , 它 
们 的 和 一 习 一 盖 司 一 0F.G.HTJ 为 一 类 ,由 图 5.6 可 见 ,在 神经 元 阵列 中 各 符号 之 间 的 
空间 关系 与 它们 在 树 状 结构 中 的 相互 空间 关系 相当 类 似 , 两 者 之 间 拓 扑 结构 的 一 致 性 是 明显 
的 ,请 注意 图 5. 6 上 特征 的 矩形 排列 (阵列 ) 是 由 ?0 个 神经 元 组 成 的 ,每 一 个 用 5 个 权 和 模式 
分 量 zyziyz yz 和 z 相 联 ,用 从 训练 集中 随机 地 选取 向 六 下 …Xs 对 阵列 进行 训练 ,经 过 
10000 步 训练 ,这 些 权 稳 定 下 来 ,而 后 ,所 得 到 的 这 个 网 络 是 已 校准 的 . 校准 通过 阵列 神经 元 随 
来 自 于 训练 集 的 特定 的 已 知 向 基 而 有 指导 地 贴 标 号 来 实现 ,那么 , 当 向 量 召 是 输入 时 ,由 图 
5.6 可 见 , 左 上 角 神 经 元 在 整个 阵列 中 产生 最 强 的 响应 ,所 以 它 被 标 为 召 等 ,由 图 可 见 ,32 个 
神经 元 装备 有 标号 和 38 个 神经 元 保留 自由 的 . 
BCDE eewQR。7Tz 
X 。 


图 5.6 自 组 织 特征 映射 网 络 输出 对 应 于 输入 样本 的 映射 
训练 向 章 的 相似 度 的 检验 揭示 了 XA…Xs 能 够 被 排列 在 所 谓 的 最 小 癌 距 树 中 ,这 种 最 小 
间距 是 1972 年 Andrews 作为 研究 数据 的 聚 类 或 邻 域 的 一 种 技术 ,这 种 方法 起 因 于 任意 数据 
集 的 一 种 图 理论 分 析 . 最 小 间距 树 被 定义 为 连接 数据 集中 所 有 点 到 它们 最 相 邻 的 平凡 树 , 结 果 
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这 整个 树 的 长 度 得 到 最 小 ,图 的 每 个 顶点 相应 于 来 自 数据 集中 的 惟一 的 一 个 元 素 . 如 果 我 们 赋 
一 个 数 到 每 个 图 的 边 即 等 于 边 连接 的 顶点 之 间 的 距离 ,那么 一 个 集合 的 最 小 间距 树 是 有 最 小 
值 的 树 的 边 之 和 的 间距 娃 . 

三 、 旅 行商 (TSP) 问 题 

在 Kohonen 网 络 中 ,利用 自 组 织 学 习 方法 在 输出 神经 元 空间 中 的 拓扑 映射 . 把 六 个 城市 
看 成 是 二 维 平 面 上 的 N 个 点 * 那 么 ,这 些 城市 所 处 的 位 置 作为 网 络 的 输入 ,把 输入 样本 看 做 是 
一 个 城市 的 集合 ,其 中 每 一 个 城市 是 定位 在 二 维 平面 上 的 ,如 同 地 图 上 才 示 城市 的 位 置 坐标 一 
样 ,在 集合 C 中 ,每 个 样本 用 CiGz, ,3) 来 表示 ,城市 坐标 zx,y 用 两 个 神经 元 作为 这 个 两 络 的 
输入 来 表示 ， 如 果 这 种 网 络 的 输出 有 100 个 以 上 的 神经 元 ,可 以 组 成 一 个 平面 ,两 络 从 输入 到 
输出 的 连接 权 反 回 了 该 城市 在 路 径 中 的 位 置 , 网 络 中 的 连接 权 开始 时 是 一 个 随机 数 , 从 一 个 城 
市 到 另 一 个 城市 的 优选 原则 是 在 某 种 局 部 限制 条 件 下 ,这 两 个 城市 的 距离 较为 接近 ,这 样 反复 
选择 ,最 后 得 到 的 旅行 路 径 不 是 最 优 也 是 较 优 的 路 径 . 

在 Kehonen 网 络 中 ,按照 前 面 介绍 的 算法 进行 学 可, 其 邻 域 N. 一 开始 选 得 很 大 ,随时 间 
减 小 ,也 随 之 减 小 . 由 于 Kohonen 网 络 中 的 聚 类 和 映射 特性 , 随 若 自 组 织 过 程 的 进行 ,使 得 在 
地 图 上 相近 的 城市 ,在 网 络 输出 平面 中 的 位 置 也 比较 相近 ,把 相近 的 点 连 成 链 状 ,这 个 链 无 歪 
是 按照 城市 远近 排列 ,这 个 链 便 是 TSP 的 解 了 ,具体 如 图 5. 7. 
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图 5. 7 Kohonen 网 络 求解 TSP 问题 的 示意 图 
实质 上 ,这 个 例 于 可 看 成 为 二 维 平 面 上 的 点 到 一 曲线 上 的 特征 映射 .图 5. 7 的 运行 过 程 就 
好 像 拉 动 一 条 橡皮 圈 , 在 自 组 织 过 程 中 ,这 个 术 皮 图 是 决定 拉 向 另 一 个 输出 节点 ,还 是 保持 不 
变 .图 5. 7(a) 表 示 初 始 称 皮 圈 的 位 置 ,图 5. 7(b) 和 (ec) 表 示 拉 动 的 某 些 中 间 过 程 ,而 5. 7(d) 给 
出 最 后 结果 . 
在 拉动 过 程 中 ,拉动 方向 ( 权 值 更 新 ) 是 由 下 式 决定 ， 


Aui 一 下 pkD(m 一 ) 十 Ron 一 2ou +er] 


其 中 >0, 为 学 习 调 整 速度 ;8 (为 把 (决定 城市 的 位 置 ) 拉 动 到 城市 wx 的 强度 ,其 大 小 取 次 
于 某 种 城市 概率 分 布 示 >0 是 使 橡皮 圈 在 城市 之 间 的 互相 拉动 能 保持 一 个 完整 的 环 状 . 
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$5-3 自 适应 共振 理论 模型 


5.3.1 自 适 应 共振 理论 (4RT) 


自 适 应 共振 理论 (Adaptive Resonance Theory, 简称 ART) 是 由 美国 Boston 大 学 Gross- 
berg S 和 Carpenter 和 提出 的 , 这 一 理论 包括 ARTI 和 ART2 两 种 模型 ,可 以 对 任意 多 和 任意 
复杂 的 二 维 模式 进行 自 组 织 、 自 稳定 和 大 规模 并 行 处 理 . 前 者 用 于 二 进 制 输入 ,后 者 用 于 连续 
信和 号 输入 . “ 

如 什 5. 8 所 示 , 它 由 两 个 相继 连接 的 存储 单元 STM-F; 和 STM-F, 组 成 ,分 成 注意 子 系统 
和 取向 子 系统 .Ri 和 F; 之 间 的 连接 通路 为 自 适 应 长 期 记忆 (LTM) . 

增益 榨 制 注意 子 系统 取 呵 子 系统 
十 十-| SRM-F> 














+ 下 + 
STM 























图 5-8 ART 原理 图 

ART 的 主要 优点 ， 

名 可 完成 实时 学 习 , 且 可 适应 非 平 稳 的 环境 ， 

色 对 已 学 习 过 的 对 象 具 有 稳定 的 快速 识别 能 力 ,同时 又 能 迅速 适应 学 避 的 新 对 象 

四 具有 自 归 一 能 力 , 撒 据 某 些 特征 在 全 体 中 所 占 的 比例 ,有 时 作为 关键 特征 ,有 时 又 被 当 
做 噪声 处 理 ; 

图 不 需要 事先 已 知 样 本 结果 ,可 非 监 督学 习 } 

加 容量 不 受 输 和 人 通道 数 的 限制 ,存储 对 象 也 不 要 求 是 正 交 的 ; 

图 此 系统 可 以 完全 避免 陷 人 局 部 极 小 点 的 问题 . 


5-3.2 ARTI 神经 网 结 


一 \ARTI1 神经 网 络 基本 结构 

网 络 的 基本 结构 如 图 5. 9 所 示 ,由 两 层 神经 网 节点 构成 两 个 子 系统 ,分 别称 比较 层 (Com- 
pare, 简 称 C 属 ) 和 识别 层 (Recognition ,简称 R 层 ). 另外 还 有 三 种 镑 制 信 导 , 即 复位 信和 号 ( 简 
称 ReseD) 及 两 种 还 辑 控制 信号 Gx 和 @， 

1.C 层 结构 

具有 = 个 节点 ,每 个 节点 接受 来 自 三 个 方面 的 信和 号 . 

信号 1: 输 入 斑 的 第 ; 个 分 量 Xi 

信号 2:R 层 第 ; 个 单元 的 自 上 而 下 返回 信号 尺 ;- 
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输入 x+ 
图 5.9》 ARTI 网 络 的 基本 绫 构 

信号 3:Gi 控 制 信和 号- 

设 C 层 第 庆 个 单元 输出 为 Ci. C, 根据 “2/3 规则 ?产生 , 即 C: 具有 三 个 信号 中 的 多 数 相同 
的 值 - 

网 络 开始 运行 时 ,G 一 1,R 层 反 馈 信 号 为 0 

2. 玉 层 结 构 

及 层 功能 结构 相当 于 一 种 前 向 竞争 网 络 , 假 设 输 出 层 有 mm 个 节点 ,mm 类 输入 模式 .输出 层 
节点 能 动态 增长 ,以 满足 设立 新 模式 类 的 需要 . 设 由 C 层 自 下 而 上 连接 到 及 层 第 个 的 节点 
的 各 向 量 用 琴 一 fuyza rz) 表示 .C 层 输 出 向 量 C 洛 W; 向 前 锁 送 ,经 过 竞争 在 R 层 输 
出 端 产生 获胜 节点 ,指示 本 次 输入 向 量 类 别 . 

3. 控制 信号 

(1)Gl : 设 输 入 模式 关 各 元 素 的 逻辑 “或 "为 am, 尺 各 元 素 的 尿 辑 * 或 非 ?为 R, 则 G 一 
xzoRo， 即 只 有 在 R 层 输出 向 量 玉 为 全 0, 而 输入 盛 不 为 全 0 时 ,Gi 一 1, 其 他 情况 下 G 一 0. 

《2)C* 是 输入 模式 互 各 元 素 的 色 辑 “或 ", 即 于 为 全 0 时 ,G 是 0. 其 他 情况 下 G 是 1. 

《3)Reset: 设 预先 设 定 的 相 个 性 度量 为 w. 如 按 某 种 事先 设 定 的 测量 标准 ,C 与 下 并 非 充 
分 接近 且 达 到 p, 则 发 出 Reset 信号 ,以 使 R 层 之 争 获 胜 节点 无 效 , 这 表示 此 次 选择 的 模式 代 
表 类 不 能 满足 要 求 . 

二 \ART]1 网 络 运行 原理 

从 网 络 输入 模式 到 最 后 把 该 模式 存储 至 相应 的 模式 类 别 中 ,网 络 的 运行 过 程 经 历 了 三 个 
阶段 . 

1. 识别 阶段 

在 网 络 没有 输入 模式 之 前 , 网络 处 于 等 待 状 态 . 此 时 ,输入 端 瑟 一 0, 并 置 控 制 信号 G: 一 G 
二 0. 所 以 ,R 层 单元 输出 全 为 0, 在 竞争 中 有 同等 的 获胜 机 会 . 当 网 络 输入 不 全 为 0 时 , 置 G 一 
1- 信息 自 下 而 上 流动 . 由 “273 规则 ?可 知 ,此 时 C 层 输 出 C 一 瑟 , 且 C 向 上 馈送 ,与 向 上 权 向 量 
本 进行 作用 ,产生 向 量 工 工 向 上 送 人 及 层 ,使 及 层 内 部 开始 竞争 . 保 设 交尾 点 为 了 , 则 R 层 
输出 为 刃 一 1, 而 其 他 节点 输出 为 9， 

2. 比较 阶 颖 

及 层 输出 信息 自 上 而 下 返回 C 层 . R; 使 及 层 六 节点 所 连接 的 自 上 而 下 的 是” 被 激活 ， 
并 向 下 返回 C 层 . 

此 时 ,R 层 输出 不 为 全 0, 并 且 G 一 0. 所 以 ,C 层 下 一 次 输出 刀 取 决 于 由 及 层 自 上 而 下 的 
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权 向 量 研 '， 及 网 络 的 输入 模式 于 , 即 :C-, 一 本 Am 其 中 人 表示 逻辑 与 , 新 状态 C 就 反映 了 
输入 向量 发 与 其 所 激活 的 节点 7 的 典型 向 量 之 间 的 相似 度 . 

用 事先 措 定 的 门限 对 相似 度 进行 测试 , 若 C 给 出 了 足够 相似 的 信息 , 则 表示 竞争 结果 正 
确 , 反之 , 则 表示 竞争 结果 不 符合 要 求 , 就 发 Reset 信和 号 以 填 上 次 获胜 的 节点 无 效 ,并 使 其 在 本 
次 模式 的 匹配 过 程 中 不 能 再 获胜 . 然后 进入 搜索 阶段 . 

在 比较 阶段 ,网 络 的 信息 流向 是 自 上 而 下 的 ， 

3, 搜索 阶段 

由 Reset 信号 置 获胜 阶段 无 效 开始 ,网 络 进 和 搜索 阶段 . 此 时 中 为 全 0,Gi 一 1, 在 避 层 输 
出 端 又 得 到 了 本 次 的 输入 模式 X. 因此 ,网 络 又 进入 识别 及 比较 阶段 ,得 到 新 的 获胜 节点 (了 前 
的 获胜 节点 不 参加 竞争 ). 这 样 重复 直至 搜索 到 某 一 个 获胜 节点 上, 它 与 输入 向量 在 充 分 匹配 
达到 满足 的 要 求 为 止 . 模式 编制 到 民 层 上 节点 所 连 的 模式 类 别 中 , 即 按 一 定 的 方法 修改 有 
节点 的 自 下 而 上 和 自 上 而 下 的 权 向 量 ,使 网 络 以 后 再 遇 到 着 或 与 相近 的 模式 时 ,R 层 节点 大 
能 很 快 取得 竞争 的 胜利 . 若 搜索 了 所 有 的 愉 层 输 出 节点 而 没有 发 现 有 与 改 充 分 接近 的 模式 ， 
则 增设 一 个 R 层 节点 以 表示 X 或 与 发 相近 的 模式 . 

三 个 阶段 表示 了 对 于 一 次 外 界 输入 ,ART 网 络 的 运行 过 程 . 当 外 界 输入 瑟 与 所 激活 的 有 
层 节点 的 模式 充分 距 配 时 ,网 络 发 生 了 “共振 ”, 运 行 过 程 结 束 . 否则 ,就 进行 特别 处 理 ,直到 发 
生 *“ 共 振 ? 现 象 时 ,对 本 次 输入 的 训练 过 程 才 结束 - 然后 释放 所 有 被 Reset 信和 号 占用 的 节点 ,又 
对 新 的 输入 模式 开始 以 上 的 调 练 过 程 . 

三 、ART1 网 络 学 习 算 法 

ART1 训练 算法 (ART1) : 

@ 初 始 化 , 自 下 而 上 的 权 疝 量 多 赋 了 予 较 小 的 初 值 , 自 上 而 下 的 权 向 量 研 ' 冉 了 予 初 值 1. 相似 
度 门 限 0<o<<1. 

图 始 网 络 输入 模式 下 一 (zi zs-zoyoziEt0, 1 

图 若 瑟 不 为 全 0, 由 “273 规则 "可 知 C 度 输 出 C 一 碟 信息 前 送 ,由 自 下 而 上 的 权 向 量 研 进 
行 加 权 , 得 输出 为 :z5 一 CH jiE (12， oz}， 

图 R 层 竞 争 开始 运行 , 若 有 oj 一 maxtui orE {1,2,…,mj}, 则 玉 层 的 产 节点 获得 竞争 胜 
利 . 

回信 息 反 送 ,由 尺 层 的 获胜 节点 产 送 回 自 上 而 下 的 权 向 量 双 '7 , 此 时 G 一 0, 由 “2/3 规 
惠 " 可 得 到 C 层 新 输出 向 量 C 的 各 个 元 索 满足 :CG 一 Hz 

图 警戒 线 检测 . 设 向 量 X 中 不 为 0 的 个 数 用 上 怀表 示 ,可 有 “ 








1 Xi 一定 (5. 3.1) 


和 1 


1 Cj 一 > wazr (5. 3. 2) 


记 1 


1C171XT >e 若 成 立 , 则 接受 户 为 获胜 节点 , 转 四 . 否 财 发 Reset 信号 , 量 天 为 0( 不 允许 
其 再 参加 竞争 ) ,开始 搜索 阶 锋 , 转 回 ， 
名 季 改 尺 层 节点 自 下 而 上 及 自 上 而 下 的 权 向 量 , 使 其 以 后 对 与 X 相似 的 输入 更 容易 获 
胜 , 且 具有 更 高 的 相似 性 . - 
人 十 1)》 一 (9 和 《5. 3. 3) 
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EX TI CE 十 1) 
SS 《5. 3.4) 
z 一 1 十 > tw (Da 





由 (十 1) 一 


其 中 为 大 于 1 的 常数 
图 恢复 由 Reset 信号 抑制 的 R 层 节点 , 转 到 四 以 迎接 下 一 次 的 输入 . 


5.3.3 4ARTI 网 络 学 习 算 法 的 改进 


在 ARTI1 的 训练 算法 中 , 步骤 加 得 到 的 C 层 新 输出 向 量 C 既 不 完全 与 不 相同 ,又 不 完全 
相同 于 自 上 而 下 药 权 向 量 W'7 ,所 记录 的 记忆 模式 向 量 筷 一 厂 '” ,我 们 记 该 向 量 为 S" 一 C,S- 
所 表现 出 的 是 与 二 者 的 一 致 之 处 ,我 们 称 之 为 综合 模式 向 量 . 如 果 2 与 筷 的 相似 程度 很 高 , 那 
么 8 中 非 零 分 量 的 个 数 不 会 比 素 中 非 零 分 量 的 个 数 少 许多 ,所 以 步骤 @@ 中 的 警戒 线 检测 
1C1 7 成立; 反之 ,S" 中 非 零 分 量 的 个 数 将 明显 比 于 中 非 零 分 量 的 个 数 少 许多 , 则 
匹配 失败 . 

但 是 ,在 步 票 @ 警 戒 线 检测 中 ,显然 只 对 综合 模式 与 输入 模式 8" 作 了 比较 ,而 没有 对 记忆 
模式 己 与 综合 模式 S ' 进行 比较 . 如 果 记 忆 模 式 也 包含 输入 模式 互 ,而 它们 又 显然 不 是 同一 模 
式 .例如 : 素 一 {0,1l,1,0,0,0,1,0,1:0}) ,而 2={l,lili,ll'l,1l,l,i)l), 则 83" 一 
{0,1,1,0,0,0,1"0,1,0)}, 这 时 ,步骤 @ 中 的 警 式 线 检测 1 Cl71 开 | =1, 输 入 模式 瑟 被 误 判 
为 记忆 模式 

为 了 解决 这 种 误 判 , 令 ， 








1 一 2 《5.3.5) 
后 


其 中 六 为 获 性 节点 , 则 1 忌 1 表示 六 节点 所 记忆 的 模式 特征 , 即 非 零 分 量 的 个 数 ; 而 | S* | 一 
1C1 , 麦 示 天 与 志 匹 配 的 综合 特征 :外 互 ‖ 表示 输入 模式 特征 . 
引 人 钟 形 函 数 
1 


Ice 二 评 人 3 


FF(Cz) 一 


该 函数 当 z 一 1 时 取 最 大 值 1. 
改进 的 ARTI 训练 算法 : 
ARTIL 训练 算法 其 他 步 观 不 变 ,步骤 @@ 警 戒 线 检测 作 如 下 蜂 改 ， 
加 警戒 线 检测 . 设 向 量 X 中 不 为 0 的 个 数 用 外 下 表示 ,可 有 : 





1 一 > 《5. 3.7) 
芭 
Cl 一 > msnz 《5. 3. 8) 
扫 
121 = 一定 v 《5. 3- 9)》 
各 


着 大 1CHXAIZEN2*CNCIZATI)>o 成 立 ( 函 数 了 如 公式 (5. 3. 6 定义), 则 护 受 六 
为 获胜 节点 , 转 四 - 否则 发 Reset 信号 , 置 六 为 Q( 不 允许 其 再 参加 竞争 ) ,开始 撞 索 阶段 , 转 加. 


5.3.4 ART2 神经 网 络 
ART2 神经 网 络 是 为 任意 模拟 输入 矢量 而 设计 的 (二 值 矢量 作为 一 种 特例 当然 也 包括 在 
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内 ), 它 具有 十 分 宽广 的 应 用 范围 ,但 不 能 再 采用 简单 的 273 规则 ? ,其 注意 子 系统 和 调整 子 系 
统 的 结构 要 复杂 得 多 ;通过 警戒 参数 的 调整 ,ART2 可 以 按 任 和 何 精度 对 输入 的 模拟 观察 矢量 进 
行 分 类 ,可 以 用 于 语音 识别 及 生成 .图 像 处 理 及 识别 .机 器 入 、 甸 达 信和 号 分 类 及 判决 等 许多 领 
域 . 在 给 出 ART2 的 设计 模型 并 阐述 其 工作 原理 之 前 ,我 们 首先 讨论 对 于 系统 的 总 体 要 求 ,着 
重 说 明 由 模拟 矢量 引起 的 一 些 特殊 间 题 及 其 解决 方案 . 

ART2 应 完成 对 输入 模拟 矢量 的 分 类 功能 , 它 的 基本 设计 思想 仍 是 采用 竞争 学 习 和 自 稳 
机 制 的 原理 ,系统 仍 由 Fs 和 Fi 两 个 STM 层 及 两 者 之 间 的 天 TM 层 组 成 . F* 层 的 功能 是 选择 
竞争 优胜 者 ,这 一 点 和 ART1 并 没有 区 别 , 因 此 它 的 设计 也 没有 什么 特殊 之 处 . F, 层 的 设计 是 
全 系统 的 核心 ,各 种 矛盾 集中 于 此 , 它 同时 要 满足 各 方面 (有 时 是 相互 矛盾 的 ?要 求 . 我 们 首先 
罗列 这 些 要 求 ， 

《1)F; 在 读 进 输 和 人 矢量 和 由 项 向 下 的 矢量 后 ,应 能 对 这 两 个 模拟 矢量 进行 匹配 比较 . 如 何 
用 神经 元 完成 模拟 矢量 之 间 的 相似 度 计 算是 需要 首先 解决 的 问题 . 

《27 当 这 两 个 矢量 的 相似 积 度 足够 高 (或 者 说 匹配 得 足够 好 ) ,就 应 当 将 它们 适当 “融合 "后 送 
往 LITM 层 ,该 层 的 相应 系数 矢量 通过 学 习 后 将 趋向 于 此 柄 合 矢 量 . 一 个 重要 的 问题 是 使 此 融合 
舌 量 能 汇聚 输 人 及 由 项 向 下 两 个 矢量 的 共同 突出 特征 . 这 将 使 ART2 的 快速 学 习 特 点 得 以 实现 ， 
也 就 是 说 ,对 于 分 类 而 言 ,每 送信 一 次 输入 矢量 样本 就 可 以 将 其 全 部 重要 特征 存 人 长 期 记忆 之 
中 ,而 无 需 反 复 多 次 的 学 习 . 另 一 个 需要 解决 的 问题 是 ,在 LTM 系数 的 学 习 过 程 中 不 能 由 于 这 些 
系数 的 变化 造成 优胜 者 换 位 的 现象 ,否则 学 习 是 不 能 稳定 的 . 当 输入 及 由 项 向 下 矢量 之 间 的 相似 
生 度 不 够 高 时 ,Fi 应 能 正确 地 向 Ps 发 出 重 置信 和 号 . 

( 龟 当 启用 一 个 未 被 占据 的 新 输出 端 时 ,与 该 端 相应 的 由 顶 向 下 LTM 系数 的 初 值 可 以 设 
年 为 接近 于 零 的 值 或 设置 为 非 零 值 . 如 果 是 后 一 种 情况 ,很 难 恰巧 与 输入 矢量 达到 良好 的 号 
配 , 此 时 免不了 发 生 重 置 ,但 是 这 种 重 秸 不 允许 发 生 , 否 则 永远 不 会 有 新 问 被 启用 , 所 以 ,我 们 
只 能 设 这 些 初 值 为 接近 于 零 , 并 依据 此 初 值 设 姥 来 防止 对 新 启用 端的 重 置 . 在 ART1 中 用 增 
益 控 制 中 心 G: 来 完成 此 任务 ;而 在 ART2 中 必须 采用 其 他 方法 . 

54) 在 警戒 参数 选 得 较 高 的 情况 下 ,两 个 矢量 之 问 的 非 本 质 微 小 差异 也 会 导致 重量 的 发 
生 , 这 种 错误 、 重 置 的 现象 应 该 完全 消除 , 我 们 可 以 通过 以 下 由 条 逐 径 来 达到 这 一 点 :在 各 个 处 
理 层 次 中 应 保持 相应 的 矢量 规格 化 (即使 其 模 等 于 1) ,应 尽量 压低 或 裔 弱 背 景 虽 声 (或 称 为 基 
底 噪 声 ), 罕 出 各 矢量 的 重要 特征 面 减 弱 非 重要 特征 . 

以 上 这 几 条 措施 对 于 提高 分 类 的 可 靠 性 也 是 非常 有 用 的 - 

为 了 通盘 解决 上 列 诸 项 问题 和 存在 的 矛盾 ,ART2 采用 了 一 种 三 层 结构 ,其 中 包括 正 反 
馈 、 规 格 化 及 非 线 性 变换 . 如 图 5. 10 所 示 , 其 中 Fi 包含 上 .中 、 下 三 层 ,在 本 图 中 只 画 出 了 各 层 
的 第 计 个 处 理 单元 ,图 中 左 侧 是 调整 季 系 统 . 由 于 其 中 包含 了 上 .中 .下 三 个 层 ,为 了 避免 混 消 ， 
我 们 以 后 将 分 别称 为 “特征 表示 场 ”及 “类 别 表 示 场 ”. 我 们 将 结合 此 图 来 解释 ART2 的 工作 原 
理 . 

一 `\ 己 场 (STM) 中 第 了 个 处 理 单元 的 播 述 

该 系统 输入 的 观察 矢量 互 是 一 个 N 维 模拟 矢量 , 它 的 N 个 分 量 是 rom zw 在 ER 
中 有 相应 的 N 个 处 理 单元 ,每 个 单元 都 包括 上 、 中 ,下 三 层 , 图 5. 10 中 只 面 出 了 第 了 了 个 处 理 单 
元 的 结构 . 可 以 看 到 ,每 一 层 里 都 包括 两 种 功能 不 同 的 神经 元 ,一 种 是 空心 国 , 另 一 种 是 实心 
圆 ,下 面 分 别 介绍 其 功能 . 
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团 5. 40 ART2 神经 网 络 的 示意 图 
《I) 空 心 图. 每 个 空心 圆 所 代表 的 神经 元 可 能 有 两 种 输入 ,一 种 是 兴奋 激励 ,用 空心 箭头 表 











示 * 秃 一 种 是 抑制 激励 ,用 实心 箭头 表示 . 设 神经 元 的 活动 电位 (也 就 是 它 的 输出 为 V. 所 有 兴 
奋 激 励 的 总 和 为 三 ,所 有 抑制 激 而 的 总 和 为 了 .那么 根据 神经 生理 学 的 研究 结果 ,可 以 知道 
变量 满足 下 列 微 分 方程 (其 中 e 和 A4 都 是 远 小 于 1 的 正 实数 , 且 e 远 小 于 A, 日 远 小 于 1,C 远 
小 于 忆 , 且 呈 接 近 于 1) : 


ce 煤 =- 一 4yY 十 GE 一 BOT 一 (CD (5. 3. 10) 


不 难看 出 , 当 不 存在 任何 激励 时 ( 邵 广 一 三 一 0),Y 将 趋向 于 0, 即 处 于 抑制 状态 . 在 式 
《5. 3. 10) 中 必 . 虽 和 C 这 三 个 参数 分 别 较 4 .1 和 呈 小 得 多 ,因此 可 以 假设 B= 0,C 一 0,e 一 0. 
根据 这 一 假设 ,在 我 们 所 考虑 的 时 间 尺 度 范围 内 ,可 以 认为 Y 在 “ 朋 间 ” 即 能 达到 其 稳定 解 之 
值 .这 样 ,可 以 得 到 式 (5. 3. 10? 的 近似 解 为 , 


了 





册 
一 ATD 

由 于 卫 接近 于 1, 而 A 是 一 个 远 小 于 1 的 正 实数 ,为 了 简化 计算 ,我 们 可 以 用 下 列 近 似 式 
来 计算 一 个 空心 圆 神经 元 的 活动 电位 ( 即 其 输出 ) : 


7= 一 并 5. 3. 12 
ee 十 厂 312 


《5. 3, 11》 





其 中 表示 一 个 远 小 于 ! 的 正 实数 . 

2) 实心 圆 . 实心 圆 神经 元 的 功能 是 求 其 输入 矢量 之 模 . 例如 ,在 图 5. 10 中 ,与 标记 为 如 
的 空心 圆 相连 的 实心 圆 , 除 了 广 以 外 还 与 po 加，…*w-: 等 各 空心 加 相连 . 设 是 一 [op 
jw-i], 那 么 此 实心 圆 的 输出 邵 等 于 书 的 模 ,换言之 , 它 的 输出 可 表示 为 

1 了 1 一 { 癌 十 凋 十 … 十 部 《5. 3. 13) 

如 对 普通 神经 元 的 各 输 人 施 以 平方 型 非 线性 变换 并 对 其 输出 旅 以 开 方 型 非 线性 变换 ,就 
可 以 完成 这 一 运 竺 功能 .类似 于 此 ,与 wz\ 和 ep 等 相连 的 实心 圆 ,其 输出 分 别 等 于 
上 11Z1 CE 和 < P1 .由 图 5.10 可 以 看 到 ,各 实心 图 送出 的 都 是 抑制 激励 . 

在 图 5 10 中 ,有 的 第 一 层 (底层 ) 和 第 二 层 (中 层 ) 构 成 一 个 闭合 的 正 反馈 回路 ,其 中 标记 为 = 
的 神经 元 接受 输入 信 叶 六 ,而 标记 为 w% 的 神经 元 接受 上 层 送 来 的 信号 5P(s). 这 个 回路 中 还 包括 两 
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次 规格 化 运算 和 一 次 非 线性 变换 . 底层 的 输入 方程 和 规格 化 运算 可 以 表示 如 下 : 


扩 一 交 十 ca 《5. 3. 14》 
gr 一 = (5. 3. 157 
其 中 是 一 个 很 小 的 正 实数 ,相对 于 12| 可 忽略 不 计 . 中 层 的 方程 和 规格 化 运算 可 表示 为 
本 = Fo) 十 gf) 《5. 3. 167 
加 
2 一 = 下 TI7T 《5.3. 17? 


其 中 e 相对 于 |Y| 而 言 要 小 得 多 , 仍 可 忽略 不 讨 . 在 底层 至 中 层 以 及 上 层 至 中 层 之 间 ,对 传送 的 
信号 进行 了 非 线性 变换 ,此 变换 用 画 数 FKz) 来 表示 ,在 具体 实现 时 ,7(z)? 可 以 取 如 下 两 种 形 
式 : 

第 一 种 形式 ， 


26z 
Me 人 相 4 0 和 7 窒 8 《5. 3. 18》 
区 工人 8 
第 二 种 形式 
oo， os zs8 
7 一 人 二 > 

这 两 种 非 线性 函数 的 作用 都 是 对 小 幅度 信号 进行 抑制 ,其 区 别 在 于 前 者 是 连续 函数 而 后 
者 是 非 连续 的 ,后 者 在 实现 时 更 方便 一 些 . 以 上 各 式 中 的 一 些 参 数 e 必 和 8 是 通过 大 量 实验 来 
确定 的 ， 

号 的 第 二 层 ( 中 层 ) 和 第 三 层 ( 上 层 ) 构 成 另 一 个 闭合 正 反馈 回路 ,其 中 标记 为 媚 的 神经 
元 既 接 受 中 层 送 来 的 信和 号 zw 又 接受 Ps 场 送 来 的 信号 . 在 这 个 回路 中 也 包含 两 次 规格 化 运算 
和 一 次 非 线性 变换 . 在 上 层 进 行 的 规格 化 运算 可 表示 为 


《5. 3. 19》 


一 多 
5 = (5. 3. 20) 
其 中 e 仍 可 忽略 不 计 . 上 中 层 之 间 的 非 线 性 变换 已 如 前 述 . 九 可 表示 为 
轨 
碳 一 本 十 ZE(ODm 《5. 3. 217 


上 式 右 便 第 二 项 表示 P* 场 对 包 神经 元 的 输 人 ,ao 是 由 省 向 下 的 LTM 系数 ,g(y) 将 在 
下 面 说 明 ， ， 
二 、Fz 场 中 所 完成 运算 的 描述 
跟 据 Fi 场 上 屋 给 出 的 矢量 P 一 [pet pw-i] 以 及 由 Fi 至 Fi 的 LTM 权重 系 数 w (ji 一 0 
一 CN 一 1 一 0 一 CM 一 1)) 可 以 算出 PP 场 (STMD 的 输 人 矢量 ,其 中 所 一 吕 。o 按照 竞争 
学 习 机 制 ,Fs 场 的 输出 矢量 了 一 [yn…3w-] 由 下 式 决定 ; 
洲 拉 一 max{6 一 0 一 CCM 一 1D)) 则 六 一 1 且 往 一 0, 当 ;天 工 
如 果 我 们 选择 式 (5. 3, 21) 中 的 变换 函数 为 &(2) 一 do ,其 中 过 是 一 个 实 常 数 , 那 么 可 用 
下 式 计算 广 ， 
让 一 丰 十 drop 一 0 一 CN 一 1)( 因 为 当 ;i 关 To 一 0 时 ,一 1)》 (5.3.22) 
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尚未 受到 激励 时 ,所 有 % 一 0, 这 时 方 一 二 

二 .下 场 和 Fs 场 之 间 LTM 权重 系数 的 学 习 

当 Fa~*Fi 的 由 顶 向 下 矢量 和 输入 观察 矢量 的 相似 度 足 够 高 或 开 妍 了 一 个 新 输出 端 ,出 进 
人 系数 LTM 的 学 习 阶段 . 学 习 公 式 是 : 





由 杞 向 下 (Fa~=EFi ): “ 
(并 十 1) 一 ziK) 十 加 [yi 人) 有 () 一 zf (8 和 
1 一 0 一 (MD 一 0~CN 一 TD (5. 3. 237 
由 底 向 上 (Fa~>F ): 
一 z 人 十 gr 人 (ED){ 太 (一 2 人 多 让 
一 0 一 COM-D=0~CN 一 ID 《5. 3. 247 


如 果 7 场 中 适 昌 的 优胜 输出 半 是 ， 那么 EC) 一 df 当 ;了 时 ,5Cy) 一 0, 这 样式 (5. 3.23) 及 
《5. 3- 24) 可 表示 为 
(二 十 1)》 一 友和 (天 》 十 疡 《天 ) 十 regK 天 7 } 
局 exDp 一 zh) ， 当 关 了 
位 人 一 zop (RE) 十 坟 让 (天 ) -2o5C&D] ， 


了 一 0 一 《AN 一 1) 《5, 3. 257 


==0~N-D (5.3.26 
(十 1) 一 ukt)， 汝 二 7 ” 


将 式 55. 3. 22)? 代 人 式 (5. 3. 25) 和 《5. 3. 26) ,就 能 得 到 


址 一 必 
其 中 工 症 竞争 优胜 输出 端 或 新 开辟 输出 端的 编号 . 对 于 参数 4, 应 指出 亡 有 别 于 一 般 学 习 公式 
中 的 步 幅 参数 . 因为 在 ART2 中 采用 的 是 “快速 学 习 ” 方 式 , 即 每 媒 现 一 个 输入 矢量 ,系数 “ 立 
即 " 进 入 其 平衡 状态 ,无 需 像 普通 的 慢 速 学 习 方 式 那样 要 进行 很 多 步调 整 才 能 进 人 平衡 态 . 对 
于 后 者 , 步 幅 应 挝 得 足够 小 ,而 参数 4 的 选择 则 取决 于 快速 学 习 的 其 他 制约 因素 ，， 

至 此 为 止 ,我 们 对 于 正 场 中 的 上 \. 中 ,下 三 层 及 由 其 构成 的 两 个 正 反馈 而 路 ,对 于 只 场 和 
F: 场 之 问 的 相互 作用 及 场 间 LTM 系数 的 学 习 调整 等 问题 已 介绍 清楚 并 给 出 了 有 关 的 计算 公 
式 , 在 进一步 介绍 调整 子 系统 前 , 需 讨 论 这 些 结构 中 所 用 的 一 些 矢 量 的 物理 意义 ,其 中 最 重要 
的 是 了 .QH 等 几 个 矢量 . 当 Ps 场 尚未 受到 激励 而 F, 场 只 受到 输入 矢量 互 作用 时 ,可 以 
看 到 ,在 两 个 正 反馈 回路 中 的 联合 作用 下 所 产生 的 矢量 的 模 为 1, 它 反 了 输入 矢量 瑟 的 重 
要 特征 并 抑制 了 其 中 的 基底 噪声 : 由 于 F: 未 受 激励 ( 即 了 盖 0) ,由 顶 向 下 传送 的 矢量 等 于 零 ， 
根据 式 (5. 3. 11) ,由 底 向 上 传送 的 矢量 已 即 等 于 了 1. 因此 ,我 们 可 以 得 到 姐 下 结论 . 当 Ps 未 受 
激励 或 者 启 昨 一 个 新 输出 端 而 其 相应 的 由 项 向 下 LTM 系数 皆 取 初 值 为 零 时 ,Fi 场 中 的 各 矢 
基 满 足 如 下 关系 : 

(1) 设 S 一 [assw-], 则 有 S$ 一 忆 =U 一 Y/|Y|, 且 18| 一 |PI 一 |D| 一 上 

《275 反映 了 互 的 重要 特征 并 抑制 了 它 的 基底 只 声 . 

(3)2Z 一 瑟 十 co 

(4 设 台 一 [qq an- 剖 @ 一 ZAI2Z, 且 一 1 

当 孔 受到 激励 并 选 出 了 一 个 已 被 占用 过 的 输出 端 工 时 ,按照 式 (5. 3. 21) 和 式 (5. 3.22》， 


+D 一 地 CD+dI 一 [全 全 一 一 0 一 CN 一 了 (5.3. 27) 
他 + 一 CD 二 da 一 有 [证 人 -wo 人 =0~CN-D 《5.3. 28) 
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由 项 向 下 传送 的 矢量 为 ai 一 [zs wx-rr 站 ,而 矢量 下 可 表示 为 严 一 B 十 oa. 可 以 
看 到 ,在 两 个 正 反 馈 回 路 的 作用 下 , 耳 柄 合 了 次 和 研 1 的 重要 特征 且 抑 制 了 盛 的 基底 噪声 . 值 
得 注意 , 当 装 和 全 ?足够 相似 时 , 忆 和 书 也 是 足够 相似 的 ;反之 , 当 夺 和 全 ?不 相似 时 ,了 和 耳 之 
间 的 差异 也 比较 大 .另外 , 设 古 一 [ago], 取 其 与 忆 之 点 积 就 得 到 六 . 现在 就 可 以 
用 一 个 调整 子 系统 来 计算 王 和 了 的 相似 度 , 当 此 相似 度 低 于 某 个 警戒 参数 时 就 应 该 对 Fs 重 
置 ;反之 ,就 进 和 人 LTM 参数 学 习 阶 段 . 之 所 以 选择 P 和 蕊 来 比较 相似 度 , 而 不 直接 比较 瑟 和 
环 ? ,除了 因为 在 启用 新 端 时 前 者 仍 保持 完全 一 致 而 后 者 差异 极 大 (因而 前 者 不 会 引起 重 置 而 
后 者 却 会 造成 重 冒 ) 以 外 ,P 和 局 比较 的 是 去 除了 基底 噪声 的 主要 特征 ,而 天 和 了 作 的 比较 中 
还 包含 了 非 主要 特征 和 基底 噪声 , 当 警 戒 参数 设置 得 较 高 时 ,这 就 使 得 一 些 次 要 特征 和 因素 也 
会 引起 不 应 有 的 重 置 . 另外 还 要 强调 指出 ,如 果 LTM 系数 进 人 了 学 习 阶 段 ,这 时 由 项 向 下 的 
矢量 W7 是 在 变化 的 ,因而 卫 也 处 于 变化 之 中 . 我 们 必须 保证 ,如 果 在 调整 开始 时 甩 发 生 重 置 ， 
那么 在 其 后 的 全 部 学 习 阶 段 都 不 能 发 生 重 置 ,否则 就 不 能 进行 稳定 的 学 习 . 

四 、 调 整 子 系统 的 工作 原理 以 及 多 5 和 全 y 初 值 的 选择 ,参数 术 和 参数 c 的 选择 

图 5. 10 左 侧 是 调整 子 系统 的 示意 结构 ,其 中 标志 为 ” 的 空心 响 神 既 元 是 第 7 个 处 理 单 
元 的 一 个 组 成 部 分 - 根据 式 (5. 3. 13) ,其 输出 可 用 下 式 计 算 : 


加 好 十 c 力 ) | 
一 5TTUIEECTET7 0 一 人 《N 一 1 《5. 3. 29) 


由 于 e 远 小 于 1, 在 下 而 的 计算 中 可 略 去 . 实心 图 A 的 输出 级 等 于 矢量 R 之 模 , 一 [ro， 
站 ，…*rn-i], 这 可 以 表示 为 
































的 
1RI 一 [ 玄 疆 (5. 3. 30) 


全 


显而易见 ,与 忆 的 相似 度 越 高 , 则 |RI 越 接近 于 1. 这 样 ,我们 可 以 选择 一 个 葡 戒 参数 p,0 
<p<<1, 当 |RI>p 时 ,无 需 重 置 ! 反 之 , 则 需要 对 Rs 进行 重 署 . 为 了 探讨 当 新 信用 一 个 未 占用 
过 的 输出 端 时 或 者 在 LTM 系数 的 调整 过 程 中 是 否 有 可 能 发 生 不 该 有 的 错误 重 置 ,我 们 应 仔 
细 研 究 在 各 种 情况 下 1RI 是 如 何 变化 的 , 如 果 在 式 (5. 3. 29) 中 令 一 0 且 已 知 |1!<z1 ,那么 式 
《5. 3. 297 和 式 (5. 3. 30) 可 以 长 写 为 如 下 形式 : 


一 和 《5. 3. 31) 





[1 十 2c1P1cosGr,P) 十 | P1: 二 
上 有 1 TeTET 《5. 3. 32) 


其 中 cos(U,P) 表 示 矢 量 世 和 下 之 间 的 顽 角 的 余弦 值 . 我 们 已 知 卫 一品 十 < ( 见 式 (5. 3. 22)》， 
因此 可 和 了 的 夹 角 的 余弦 可 用 下 式 计 算 ， 

三- 品 | 了 于 士 员 了 
TPiEI 1PIIEI 
其 中 卫 " 吕 和 口 *W 表 示 两 个 矢量 的 点 积 (内 积 ), 如 注意 到 | 吕 | <<1, 并 且 再 次 利用 两 个 矢量 
的 点 积 及 其 夹 角 余 弦 值 之 间 的 关系 ,就 能 够 得 到 

1 了 1 cos(D, ED 一 1 十 芭 | 用 !| cosGHYD) 《5.3. 35) 
1 一 [1 十 2d 87 cosGDW 十 中] W 人 3 (5. 3. 36) 
将 式 (5, 3. 32) 和 (5. 3. 36) 综 合 , 即 可 得 到 





《5. 3. 34)》 





cos(IU ,了 P) 一 
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[GL 二 oO 十 201 十 oj | olWil cosUWD 十 | ad 5 3.37) 

1 十 [ 守 十 2c | cdW1| cos(CD , 秤 人) 十 | czW 人 2: 信 
此 式 中 的 cos( , 环 人 表示 的 是 由 底 向 上 矢量 和 由 顶 向 下 矢量 之 间 的 相似 度 . 式 中 的 < 和 以 是 
两 个 可 供 设计 者 选择 的 常 参数 , |B1| 是 由 顶 向 下 矢量 之 筑 , 

五 .关于 参数 Ba 和 二 的 选择 

我 们 在 前 面 曾 指出 这 几 个 参数 需 通过 实验 来 加 以 确定 . 首先 ,对 于 8 面 言 , 一 个 初步 的 选 
择 是 可 以 令 b 一 1/V. 在 此 条 件 下 ,如 果 输 入 矢量 是 一 个 各 分 基 取 值 皆 相 等 的 均匀 矢量 ,那么 
通过 FE; 场 的 中 层 及 下 层 正太 镇 回路 的 作用 ,由 于 非 线性 变换 的 结果 ,矢量 口 的 所 有 分 量 都 压 
到 零 值 ,因而 Fi 场 不 会 向 Fs 场 送出 任何 信号. 换言之 ,这 时 可 将 均匀 矢量 当做 一 个 噪声 矢量 . 
显然 ,当选 值 超过 1/v 六 时 ,基底 噪声 抑制 和 对 比 度 增 强 的 效果 都 更 加 提高 ,但 是 有 用 信和 号 
也 被 切除 得 更 多 . 

实验 证 明 , 参 数 上 “和 2 选 得 很 小 且 也 很 小 时 ,分 类 结构 不 能 稳定 . 此 外 ,如 果 选 6 一 1/ 
VN,a=z 一 10,c=0.1:d 一 0.9 那么 在 p 选 各 种 数值 的 情况 下 都 能 获得 稳定 的 分 类 结果 . 

六 \ART2 网 络 的 学 习 算 法 ， 

”名 初始 化 . 给 参数 g,a,p,cvo 和 吕 赋 予 相应 的 初 值 . 自 下 面 上 的 权 向 量 环 和 自 上 而 于 的 权 

向 量 厂 ' 赋 初 值 . 

四 给 网 络 输入 模式 五 一 (xzo zi，… zw-i,zE[0,1]- 

图 根据 式 (5. 3. 14) (5. 3. 15)》 (5. 3. 16) (5. 3. 17) (5. 3. 19) (5. 3. 20) 和 (5. 3. 21) ;计算 
ER 场 中 的 各 矢量 :Z,Q,VY,U,S 和 卫 . 

鲜 F: 场 中 输入 矢量 了 一 [二 ,ti] ,其 中 忆 一 只 ww 一 0 一 《M 一 1), 若 有 均一 


| 
maxftii 一 0 一 人 M 一 1)}, 则 闪 一 1 且 世 一 0, 当 ; 庆 开 则 工 节点 为 获胜 节点 . 当场 F: 未 受 激励 
时 ,所 有 和 一 0. 

图 信息 反 送 . 由 马 场 的 获胜 节点 工 送 回 自 上 而 下 的 权 向 量 帮 ,根据 式 (5.3.29)、 
《5. 3. 30? 计 算出 [及 | 值 ， 

@@ 警 戒 线 检测 - 若 [ 且 | p* 则 接受 了 为 获胜 节点 . 转 @@. 否则 发 Reset 信和 号 , 置 [一 0( 不 允许 
其 再 参加 竞争 ) ,开始 搜索 阶段 , 转 四 . 

名 根据 式 (5. 3. 27) 和 式 (5. 3. 28) 调 整 自 下 面 上 及 自 上 而 下 的 权 向 量 , 使 其 以 后 对 与 世相 
似 的 输入 更 雁 易 获胜 , 且 具 有 更 大 的 相似 性 . 


5.3.5 ART 神经 网 络 在 人 像 识 别 中 的 应 用 





| 严 | 











一 \ART1 在 人 像 识别 中 的 应 用 
自 适 应 人 像 识别 神经 网 络 根据 以 上 改进 的 ARTI1 神经 网 络 所 设计 ,其 输入 模式 采用 小 波 
变换 方法 对 数据 进行 特征 抽取 并 编码 而 得 到 ,其 输出 表示 类 别 . 如 图 5, 11 所 示 , 它 包括 五 层 和 
六 个 控制 节点 ,其 功能 如 下 : 
第 一 层 , 输 入 层 , 输 人 信号 下 一 {zo,zi…rzo} 为 二 维 向 量 , 其 输出 信号 Qi 一 筷 轧 为 由 
“273 规则 ”产生 的 信 向, 记 为 * 维 向 量 S" ,S' 为 记忆 模式 与 输 人 模式 的 编 合 模式 ， 
及 ”一 也 X 基 《5. 3. 38) 
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图 5.11 ARTI 人 像 识 别 神经 了 网络 


己 在 后 面 介 绍 
第 二 层 : 归 一 化 层 , 输 人 为 第 一 层 输出 C ,输出 为 = 维 向 量 $S. 该 层 的 作用 是 使 输入 矢量 规 
格 化 : 





一 《5. 3, 39) 


第 二 层 和 第 三 层 之 间 为 自 下 而 上 的 全 互 连 前 向 网 络 ,其 连接 权 第 阵 为 环 , 第 三 层 的 输 人 
为 $, 输 出 为 四维 向 量 了 : 
所 一 飞 。ws， 一 01 一 上 (5, 3. 407 


全 


第 四 层 :竞争 网 络 层 . 输 人 为 了, 输出 为 za 维 向 量 +, 通 过 该 层 的 竞争 ,产生 出 有 性 者 ,只 有 获 

胜 者 输出 为 1, 其 他 为 90， 
在 一 Iax{ 志 注 一 人 和 1 一 ]) 《5. 3, 417 

1， 大 一 了 
和 一 人 呈 (5. 3. 42) 
第 四 层 到 第 五 层 为 自 上 而 下 的 反馈 层 , 其 连接 权 托 阵 为 多 ", 第 五 层 的 输入 为 了 ,输出 为 m= 
维 向 量 巴 : 

2 一 有 wy 05. 3, 43》 


因为 了 只 有 获胜 者 输出 为 1, 其 他 为 0, 所 以 : 
后 一 如 《5.3.447 
寻 维 向 量 为 该 获胜 模式 所 记 亿 的 向 量 
控制 节点 Gl :获胜 记忆 模式 也 的 “或 非 ” 即 只 有 当 马 全 为 0 时 ,G: 一 1, 其 他 情况 为 0; 
控制 节点 G: :输入 模式 素 的 “或 ”. 即 只 有 当下 全 为 0 时 ,Go 一 0, 其 他 情况 为 1; 
控制 节点 SUMz :计算 获胜 记忆 模式 的 非 零 分 量 的 个 数 ， 
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SUM: = 121 = 2 (5.3.45) 
控 创 节点 SUM%- :计算 纤 合 模式 $- 的 非 鹤 分 重 的 个 数 . 
SUM3 = 症 uunz， (5. 3. 46) 
座 制 节点 SUMx :计算 输入 模式 克 的 非 堆 分 量 的 个 数 . 
SUMx 一 = 《5. 3 47) 


控制 节点 Reset: 输 入 为 SUMz .SUMs ,SUM 、 输 出 为 及 : 
有 10， ASUMs /SUMa) * (SUMs /SUM >p 3 48) 
]， 否则 
函数 了 如 公式 (5. 3. 37? 定 义 , 当 慌 一 1 时 ,Reset 向 第 四 朗 发 重 置 波 . 
网 络 训练 及 识别 算法 (FER) : 
钙 初 始 化 输入 模式 X 一 0、 输 出 模式 了 一 0、. 连 接 权 值 古 \W .控制 信号 G: 一 1.Gs 一 0、.Reset 





一 0, 已 训练 类 别 数 为 premode, 网 络 容量 为 summode- 


四 输入 一 新 模式 所 一 {zoyzyznw)yReset 一 0, 计 算 Gz. 

图 如 果 G: 一 0, 则 转 @. 

全 由 公式 (5. 3. 39) 和 (5. 3. 40) 计 算 SI 

雹 由 公式 (5. 3. 41) 一 (5. 3. 44) 计 算 TY、Z ,计算 G. 

图 如 果 G 一 1, 则 转 @@. 

人 @@ 由 公式 (5. 3. 38) (5. 3. 45) 一 (5. 3. 48) 计 算 S” .SUMz .SUMx .SUMs- 和 Reset, 
图 如 果 Reset 一 0, 则 转 电 . 

轩 搜 索 记 数 NUM 二 1, 置 i .er 为 0. 

晤 NUM 小 于 等 于 premode, 则 进 人 搜索 阶段 , 转 图 . 

他 增加 新 类 别 premode 十 1, 连 接 权 值 不 ,premode,j,0<5 委 入, 上 贱 初 值 - 

思 由 公式 (5. 3. 40) 重 新 计算 T, 转 加 . 

局 由 公式 (5. 3. 34) 和 (5. 3. 35) 调 整 连 接 权 值 WwW" ,NUM 一 0, 转 @@， 

改进 的 ARTi 学 习 算 法 不 仅 考虑 了 综合 模式 与 输入 模式 的 相似 度 ,而 且 考虑 了 综合 模 


式 与 记忆 模式 的 相似 度 , 使 得 该 算法 的 识别 误差 大 大 地 减 小 . 另外 ,采用 小 波 变 换 为 特征 抽 
取 工 具 , 并 结合 PART]1 神经 网 络 所 进行 的 人 像 识别 具有 小 波 变换 和 ART 的 双重 优点 ,其 
识别 的 自 适 应 性 识别 速度 网 络 容量 的 可 扩充 性 和 稳定 的 识别 率 都 是 很 好 的 . 对 于 已 学 习 
过 的 样本 其 识别 率 可 高 达 100%%, 其 识别 速度 和 其 自 适应 性 是 BP 网 和 遗传 算法 所 无 法 比拟 


的 





二 、 使 用 连续 型 ART2 网 络 进行 人 像 识 别 
自 适 应 人 像 识别 神经 网 络 是 根据 以 上 的 连续 型 神经 网 络 ART2 设计 而 成 的 ,其 输入 模式 


包括 对 特征 图 像 降 维 处 理 之 后 ,所 得 到 的 数据 信息 ,以 及 提取 出 的 眼睛 .鼻子 和 册 等 的 元 何 比 
讽 特 征 两 部 分 . 主要 过 程 是 :根据 Laplace 边缘 检测 所 得 到 的 图 像 ,按照 前 面 所 给 出 的 醒 孔 定 
位 算法 ,定位 同 孔 所 在 的 位 置 ,然后 根据 配 孔 位 置 重 新 精确 定位 眼睛 ,并 根据 眼睛 的 位 置 , 对 和 人 
像 进 行 倾斜 和 旋转 的 补偿 算法 ! 同 时 为 了 克服 抬头 (或 低头 ) 的 影响 ,对 每 个 待 识别 的 人像 增加 
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以 眼睛 为 中 心 , 垂 直 于 图 像 平 面 方向 的 旋转 士 5 、 十 10" 的 图 像 ,这 样 就 可 以 得 到 五 幅 图 片 . 然 
后 在 补偿 后 的 人 像 上 :很 据 鼻 子 . 嘴 的 定位 算法 ,精确 定位 鼻子 和 嘴 的 位 置 ,并 找到 鼻孔 和 嘴角 
的 位 置 ,根据 这 孔 .鼻孔 和 嘴角 的 位 置 , 得 到 三 者 之 间 的 连 线 的 上 离 ,面积 .比例 等 特征 ,并 且 对 
这 些 特 征 的 数 信 进行 变换 ,使 其 更 适应 于 ART2 的 输入. 然后 根据 所 定位 的 面部 特征 ,分 离 出 
整个 图 像 中 的 包含 跟 栈 .身子 、 嘴 的 特征 区 域 , 并 对 特征 区 域 的 图 像 进 行 尺 度 和 灰 度 的 标准 化 
处 理 . 对 标准 化 后 所 得 到 的 图 像 部 分 先进 行 一 次 二 维 小 波 变换 ,整个 特征 区 域 被 分 成 四 个 部 
分 ,把 四 个 部 分 的 对 应 像素 值 都 加 起 来 ,这 样 就 能 保留 低频 部 分 的 基本 特征 ,还 能 保留 图 像 的 
高 频 部 分 的 边缘 特征 . 琶 加 之 后 ,所 得 到 的 向 量 的 维 数 为 原来 特征 区 域 的 维 数 的 1/4. 然后 利 
用 主 分 量 分 析 的 方法 ,进一步 对 特征 区 域 降 维 , 把 影响 较 小 的 部 分 爹 弃 ,使 得 输入 向 量 的 维 数 
可 以 进一步 地 减少 . 然后 把 经 过 处 理 的 值 域 在 [0,1] 之 间 的 数 作为 网 络 的 输入 . 这 样 ,ART2 的 
输入 部 分 已 经 确定 ,其 输出 部 分 表示 类 别 . 具体 的 实现 过 程 如 下 : 

ART2 网 络 训练 及 用 于 人 和 像 识 别 的 算法 ， 

人 初始 化 输 人 模式 开 一 0、 输 出 模式 Y 一 0、 连 接 权 值 玩 、.W' 及 重 置信 号 Reset 一 0, 已 洲 练 类 
别 数 为 Premode, 网 络 的 容量 为 Summode, 设 置 各 参数 的 初 值 :9 一 1/V,a=5 一 10,c 一 0.1,d 
一 0.9 和 po 一 0. 8. 

多 输入 一 新 慌 式 发 一 {zoy zi jj 

图 根据 式 (5. 3. 14) 5. 3. 15) (5. 3. 16) 《5. 3. 17) (5. 3. 19) (5. 3. 20》 和 (5. 3. 21)# 计 算 
Fi 场 中 的 各 矢量 :Z,Q,Y,D,S 和 P. 

1 

图 了 场 中 输 人 矢量 了 一 [to bc 其 中 性 一 u 有 和 一 0 一 ( 峙 一 1 ,车 有 亡 
maxttyir0 一 COM-D), 则 届 一 1 且 册 一 0, 当 ;二 二 则 了 节点 为 获胜 节点 . 当场 F, 未 受 激励 
时 ,所 有 一 0， 

图 信息 反 送 , 由 Ps 场 的 获胜 茸 点 了 送 回 自 上 碘 下 的 权 向 量 多 ,根据 式 (5.3.29)、 
《5. 3. 30) 计 算出 | 下 | 信 . 并 进行 警戒 线 检测 ,设置 Reset 值 . 

图 如 果 Reset 一 0, 则 转 全 ;次 则 搂 索 计数 Num 十 1, 置 mw 一 0 二 一 0. 

名 若 Num<Premode, 则 进 人 搜索 阶段 , 转 团 . 

图 增加 新 类 别 Premode 十 1, 对 连接 权 值 全 we Wow 财 初 值 ; 转 团 . 

图 由 公式 (5. 3. 27)、(5. 3. 28) 调 整 连接 权 值 外 W 1 置 Num 一 0, 转 @@， 


$5.4 神经 认 知 机 


斌 知 机 及 神经 认 知 机 是 由 日 本 学 者 Fukishima( 福 岛 邦 邦彦 ) 提 出 的 , 它 是 一 具有 自 组 织 
功能 的 多 层 神经 网 络 模型 ,用 子 结构 化 的 字符 识别 . 这 种 烧 理 虽然 不 便 子 电 于 电路 化 ,但 却 便 
于 计算 机 模拟 ,也 常用 于 视觉 和 听觉 信息 处 理 系统 - 

神经 认 知 机 对 可 塑性 突 触 的 形成 作 如 下 假设 : 

5D 从 神经 元 工 到 神经 元 ” 的 突 触 连 接 , 只 有 在 神经 元 * 处 于 激活 的 情况 下 才 被 强化 . 

52) 如 果 在 神经 元 ? 的 近 旁 存在 有 比 》 更 强 的 激活 神经 元 , 则 从 z 诗 ”的 突 触 连 接 就 
不 进行 强化 . 这 也 就 是 说 ,这 种 突 触 连接 的 强化 应 符 售 “ 最 大 值 检 出 假说 ”, 即 在 某 一 小 区 域 ( 称 
之 为 邻 域 ) 内 存在 的 一 神经 元 集合 中 ,只 有 输出 最 大 的 神经 元 才 发 生 输 入 突 触 的 强化 . 这 样 ,对 
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某 一 邻 域内 的 神经 元 ,其 输入 突 触 都 可 能 被 强化 . 但 根据 假说 之 二 , 却 只 限定 其 中 的 一 个 神经 
元 会 发 生 强 化 , 根据 这 一 假说 , 当 其 中 某 一 神经 元 受到 损伤 时 ,其 邻近 的 其 他 神经 元 将 会 取代 
它 , 起 到 自动 修复 的 作用 . 这 一 特性 与 神经 细胞 的 实际 功能 是 相符 合 的 、 

基于 上 述 假设 即 有 图 5. 12 所 示 的 多 层 神 经 网 络 模 多 . 模型 采用 分 流 抑制 结构 . 神经 元 的 
输 人 和 输出 是 与 激活 脉冲 密度 ( 短 时 间 平 均 ) 的 非 负 模 拟 成 比例 . 
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图 $. 12 ”多 层 神经 网 络 
设 神经 元 的 兴奋 性 突 触 的 输入 为 UC1),U(2),，…UGCN7 和 抑制 性 突 触 的 输入 为 V(1)， 
V(2)7，…VCM) , 则 神经 元 的 输出 为 ， 


允 
十 

后 
丰 = 9 一 人 一 一 


《5. 4. 17 


习 
1 十 > 6CDVCG) 
各 
其 中 
Ca 一 17 开关 0 《5.4 2 
9 [ z<0 





兴奋 性 突 触 的 结合 强度 ai) 和 抑制 性 结合 强度 8(i 均 为 非 负 模拟 值 - 式 中 的 分 子 表 示 神 
经 元 的 膜 电位 ( 短 时 问 平均 值 )- 兴奋 性 突 触 的 输入 将 使 膜 电位 上 升 ,而 抑制 性 突 触 的 输入 对 膜 
电位 起 分 流 作 用 . 分 母 则 表示 某 个 心 膜 电 位 - 

如 将 加 到 神经 元 兴奋 输 和 人 的 和 记 为 e, 而 将 抑制 性 输入 的 和 写成 产 , 则 有 


vY= 中 六 和 2]-“[ 短 各 (5.4. 3》 








< 一 妾 “CDDG7 (5. 4. 47 

天 一 到 

神经 试 知 机 的 等 效 框图 如 图 5. 13 所 示 . 
当 抑 制 性 输入 很 小 , 即 k 纪 1 时 ,神经 元 输出 次 定 于 (Ce 一 六 , 即 V<xg(e 一 用 .这 时 认 知 
机 与 模拟 贸 值 元 件 特性 相 一 致 ; 当 兴 奋 性 和 抑制 性 都 很 大 , 即 e 六 1 ,8 六 在 时 ,神经 元 的 输 
出 将 由 及 八 决 定 ;如 将 兴 杏 性 输入 的 和 “< 及 抑制 性 答 人 的 和 大 写成 e 一 sz 一 , 则 当 s<< 
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图 5 13 神经 认 知 机 的 等 效 框图 


子 时 有 








(一 人 zz _e 一 了 1，1 
六 证 区 机 1 十 tanh( 亏 lg 去) 《5.4.5)》 


即 接近 于 S 形 饱和 特性 ,与 神经 生物 学 感 观 系统 的 I/O 非 线性 特性 一 致 . 认 知 机 可 以 通过 自 
组 织 获得 各 种 空间 模式 的 识别 芒 能 ,常用 于 文字 与 语言 的 识别 等 研究 领域 , 
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模糊 系统 


第 六 章 ” 模 糊 数 学 基础 “147“ 








6.1.1I 传统 数学 与 模糊 数学 


长 期 以 来 ,人 们 认为 :一 类 知识 ,如 果 还 不 能 用 严格 的 数学 方法 来 处 理 的 话 , 那 就 不 能 被 称 
之 为 科学 、 这 种 观念 使 人 们 养 成 了 尊重 精确 .严格 和 定量 的 东西 ,而 荐 视 模 糊 和 定性 的 东西 的 
习惯 . 

传统 数学 是 非常 严格 ,非常 精确 的 . 传统 琢 学 的 基础 是 集合 论 ,要求 集 合 的 边界 必须 是 明 
确 的 , 即 一 个 对 象 对 于 一 个 集合 ,要 人 么 属于 ,要 么 不 属于 ,二 者 必 居 其 一 , 绝 不 允许 模棱两可 . 自 
然 界 和 人 类 社会 中 的 诸 事 万 物 都 具有 各 种 特征 或 属性 ,其 中 有 些 是 严格 而 清晰 的 :但 也 有 很 多 
是 模糊 的 . 以 人 为 例 ,人 的 性 别 ( 男 或 女 )、 年 龄 (岁数 ) 文化 程度 ( 文 宵 小 学 .初中 高 中 ,大专 、 
大 学 、 硕 上 ,博士 ?等 等 明确 特征 都 可 以 用 传统 数学 的 集合 来 描述 ,但 像 健康 状况 (好 .比较 好 、 
良 ………)》、 性 格 特点 (聪明 .能 于、 活 小 .……) 等 这 些 模糊 属性 就 很 难 用 传统 集合 来 描述 - 即使 
一 些 本 来 有 严格 定义 的 特征 ,为 了 便于 处 理 , 有 时 也 更 多 地 用 模糊 概念 来 描述 , 比如 按 年 龄 将 
人 分 为 “年 轻 人 ”“ 中 年 人 "“ 老 年 人 ”传统 数 学 方法 是 规定 一 些 闵 值 来 定义 集合 的 界限 , 设 用 
3 代表 年 龄 ,?<40 为 "年轻 人 ”40 魏 ?<<60 为 “中 年 人 ”,? 安 60 为 "老年 人 ” 这 种 方法 简单 ,但 
过 于 绝对 化 , 装 值 界定 是 一 个 令 人 头痛 的 难题. 正 因为 传统 数学 不 能 真实 地 描述 和 处 理 没有 明 
确 边 界 的 异 糊 概念 , 模 精 数学 便 应 运 而 生 . 

模糊 (Fuzzy), 有 “不 分 明 "“ 界 限 不 清 "之 意 ,与 清晰 一 词根 对 . 概括 地 讲 , 模 糊 数学 是 用 来 
提 述 研究、 处 理事 物 所 具有 的 模糊 特征 ( 即 模糊 轨 念 ) 的 敢 学 “模糊 "是 指 它 的 研究 对 象 ,而 
“数学 "是 指 它 的 研究 方法 ,二 者 并 不 矛盾 . 


6.1.2 不 相 容 原理 


模 髓 数学 诞生 于 1965 年 ,美国 自动 化 控制 专家 扎 德 (Zadeh L A) 教 授 首先 提出 用 隶属 度 
画 数 (membership function) 来 描述 模糊 概念 ,创立 了 模糊 集合 论 ,为 模糊 数学 商定 了 基础 . 他 
还 提出 了 著名 的 复杂 性 与 精确 性 的 “不 根 容 原理 ”( 又 叫做 “ 互 原 性 原理 ”) , 即 * 随 着 系统 复杂 性 
的 增加 ,我 们 对 甚 特性 做 出 精确 而 有 意义 的 描述 的 能 力 会 随 之 降低 ,直到 达到 一 个 阔 值 ,一 旦 
超过 它 , 精 确 和 有 意义 二 者 将 会 相互 排斥 ” 这 就 是 说 ,事物 越 复杂 ,人 们 对 它 的 认识 也 就 越 模 
糊 , 也 就 越 需要 模糊 数学 , 不 相 容 原理 深刻 地 几 明了 模糊 数学 产生 和 发 展 的 必然 性 ,也 为 三 十 
多 年 来 模糊 数学 的 发 展 历史 所 证 实 . 
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86.2 模糊 集合 与 隶属 度 函 数 


6.2.1 模糊 集合 及 其 运算 


一 、 模 糊 业 合 (Fuzzy Sets) 的 定义 
传统 集合 论 对 事物 只 用 “1 和 “0? 作 简单 的 “属于 "和 “不 属于 ”的 分 类 ,集合 中 的 元 素 是 有 精 
确 特性 的 对 象 , 称 之 为 蔷 通 集合 . 例如 ,“8 到 12 之 间 的 实数 "是 一 个 精确 集合 C,C 一 ( 实 妆 [8< 
肥 12} ,用 特征 函数 me 人 7 表示 其 成 员 ,如 图 6. 1 所 示 . 
1]， 8 委 r 短 12 
0， ”其 他 
扎 德 把 传统 的 普通 集合 扩充 为 模糊 集合 . 在 模 灶 论 域 中 , 论 域 上 的 元 素 符合 程度 不 是 绝对 
的 0 或 1, 而 是 介 于 0 和 1 之 间 的 一 个 实数 . 集合 中 的 元 素 的 特性 是 模 烂 的 . 例如 ,“ 接 近 10 的 
实数 "是 一 个 模 灶 集 合 上 一 人 | 接近 10 的 实数 }, 用 “隶属 度 (Membership)y*yr(m) 必 为 特征 函 
数 来 描述 元 素 属 于 集合 的 程度 ,如 图 6. 1(b) 所 示 ,10 属于 妖 的 隶属 度 为 1,9 和 11 属于 下 的 
隶属 度 为 0.75,7.2 和 12.8 属于 已 的 隶属 度 为 0. 275. 





Per 一 

















-911 
72 10 12.8 
人 ) 





图 64.1 普 双 集合 与 模 精 集合 的 对 比 

模糊 集合 的 定义 如 下 : 论 域 凡 上 的 一 个 模糊 集合 已 是 指 ， 对 于 论 域 I 中 的 任 一 元 素 xE 
,都 指定 了 [0,]] 闭 区 间 中 的 一 个 数 wr(o E fo,1I] 与 之 对 应 ,ar (z) 称 为 “对 模 丧 系 合 下 的 
隶属 度 . 也 可 以 表示 成 映射 关系 ; 

pr3U 一 [0 
PFC 下 》 
这 个 映射 称 为 模 相 集合 忆 的 隶属 度 西数 (membership function). 模 籽 集 合 有 时 也 称 为 模糊 于 
集 ， 

Ar 用 来 说 明 x 隶属 于 忆 的 程度 . pr( 办 一 1 表示 xu 完全 属于 已 ,pr(z) 一 0 表示 zx 完全 
不 属于 下 ,0<wr(oe)<1 表示 z 部 分 属于 下 .U 中 的 模糊 集合 下 可 以 用 元 素 x 及 其 未 属 度 
prkz) 来 表示 : 

正 一 [Cr(eo)|zEU 

仍 以 前 而 提 到 的 “年 经 >“ 中 年 >“ 老 年 ?为 例 , 这 二 个 年 龄 特征 分 别 用 模糊 集合 4A.B、C 

表示 ,它们 的 论 域 都 是 1 一 [0,100], 论 域 中 的 元 素 都 是 年 龄 <, 我 们 可 以 规定 模糊 集合 4.B、C 
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的 隶属 度 函 数 分 别 为 pa (za .pa(z wec(z ,如 图 6. 2 所 示 - 








口 |20 30 如 50 名 珀 30 





图 6.2 “年 轻 "“ 中 年 "“ 老 年 "的 隶属 许 鼻 数 

如 果 三 一 30,m 对 4 的 隶属 度 Ma 人 mm) 一 0.75, 这 意味 着 30 岁 属 于 "年 轻 "的 程度 是 0.75. 如 果 
弛 一 40, 几 既 属 于 和 又 属于 Ba Ge) 一 心 2 吕 wpakae ) 一 由 5, 这 说 明 40 岁 的 人 已 不 太 年 轻 了 ,比较 接 
近 中 年 ,但 属于 “中 年 "的 程度 还 不 太 大 ,只 有 0.5 再 如 am 一 50,pa(u) 一 1 这 说 明 50 岁 正 值 "中 
年 ", 但 即将 走向 “老年 ” 对 比 传统 数学 用 闭 值 划分 为 三 个 年 龄 锚 的 方法 ,显然 用 模 糯 集合 能 够 比较 
准确 地 、 真 实地 描述 人 们 头脑 中 的 原 有 概念 ,而 用 普通 集合 来 描述 模糊 性 概念 反倒 是 不 准确 \ 不 真 
实 的 ,也 可 以 说 是 粗糙 的 . 

模糊 集合 己 的 支 集 S 是 一 个 普通 集合 , 它 由 论 域 I 中 满足 mrkz) 盖 0 的 所 有 z 组 成 即 
S 一 {<cEDUlprta)0). 例如 ,在 图 6.2 中 ,模糊 集合 B(0“ 中 年 ”> 的 支 集 是 闭 区 闻 [35,60]. 

二 、 模 糊 集 合 的 表示 

1. 离散 论 域 

如 果 论 域 本 中 只 包含 有 限 个 元 素 , 该 论 域 称 为 离散 论 域 . 设 离散 论 域 [一 {aa ye， 
zj , 避 上 的 模 炳 集合 F 可 表示 为 


下 二 >)Jpur(x)/ur 一 (6.2. 1) 
各 


Art/ 十 rta)/ue 十 汪 十 ec)jm 
这 具 是 一 种 表示 法 ,表明 对 每 个 元 素 zw 所 定义 的 未 属 度 为 ke (am) ,并 不 是 通常 的 求 和 运算 . 
2. 连续 论 域 
如 果 论 域 本 是 实数 域 , 即 DER, 论 域 中 有 无 穷 多 个 连续 的 点 ,该 论 域 称 为 连续 论 域 . 连 
续 论 域 上 的 模糊 集合 可 表示 为 

















FE= | ercoa (6. 2. 2) 
CER 
这 里 的 积分 号 也 不 是 般 常 的 含义 ,该 式 只 是 表示 对 论 域 中 的 每 个 元 素 " 都 定义 了 相应 的 隶属 
度 函 数 wr(z)- 
三 、 模 棚 集 合 的 基本 运算 
1. 基本 运算 的 定义 


设 4,B 是 同一 论 域 可 上 的 两 个 模糊 集合 ,它们 之 间 包含 .相等 关系 定义 如 下 ， 
*“ A 包含 中 , 记 做 4 二 B, 有 

pa 人 (Op 四，VauEU (6. 2. 3》 
“4 等 于 B, 记 做 4 一 B, 有 
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Aua (zt 一 Pakzt)， aGD 《6. 2. 分 
显然 ,A= Be3A4 一 忆 且 ACEB. 
设 4 中 是 同一 论 域 U 上 的 两 个 模糊 集合 ,隶属 度 函 数 分 别 为 waCx> 和 pekz) ,它们 的 并 、 
交 、 补 运算 定义 如 下 : 
"人 A 与 纪 的 交 , 记 做 A 门 如 ,有 
pana(z) 一 afa)y A pafa) 一 
minfpa Ga spa 人 0) YazE 了 7 (6.2.5) 
“A 与 绰 的 并 , 记 做 AUB, 有 
pausta) 一 KaACU)》 Y Ha(z) 一 





























maxfpa(a) peCa} VizE 杂 《6.2. 6) 
“和 的 补 , 记 做 本 ,有 
AD 一 1 一 AAA， YAE 厅 《6. 2.7) 
其 中 ,min 和 人 表示 到 小 运算 ,max 和 V 表示 到 大 运 竺 .图 6, 3 显示 了 这 三 种 运算 对 应 的 隶属 
度 函 数 . - 
忆 且 
让 4 百 由 4 下 
408 MUB 
5 本 5 和 
局 4 和 如 的 交 (4 和 五 的 并 (94 的 补 
到 和 3 模糊 集合 的 三 种 运算 
例题 : 设 论 域 X 一 {2 ,zzza,zi} 上 的 模糊 集合 A, 忆 分 别 是 
有 一 工 站 028 站 0.4 0.2 
2 
日 -025108003 
2 
求 AMB,AUB,, 巨 
解 
A 口 瑟 1LV05+09V08 44Vo+02V03- 
1 2 3 4 
工 十 .9+04 了 0.3 
2 
及 门 B= 工 A.0.5109A08 24A0OT02A03 
1 芝 3 攻 7 
25+08+Q 十 02 
立 1 区 字 3 2 
瑟 = 1141 一 29 二 1 一 04 1 一 0.2 _ 0 +01106108 


T T 
2 2 3 了 Ta 
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互 1 一 0.5 ， 1 一 0.8， 1 一 0 1 一 0.3 05 0.2 工 二 0.7 
盖 








有 2 十 rz 十 2 十 4 EEC 
2. 基本 运算 定律 
论 域 g 上 的 模糊 全 集 巨 和 模 棚 空 集 ? 定义 如 下 ; 
(ty 一 1 是 全 《6. 2. 8) 
(一 0， YazEU (6.2.9) 


设 4,B,C 是 论 域 U 上 的 三 个 模糊 集合 ,它们 的 交 、 并 、 补 运算 有 下 列 定律 : 
中 重 等 律 : 
4UA=A4nmnA=A4 








加 交换 律 : 
4UB=-BUA,AB=3BnmA 
图 结合 律 
(4UB)UC= 一 AUCGBSUC)》 
(nnBnec=anmnmBsUC)y 
钱 分 配 律 ， 
4AUBnecr=caUB)ncaUC) 
anBuUc=naBUcanoO 
@@ 豚 收 律 ， 
(AnBIUA=A 
(AUB)mA=A 
加 同一 律 ， 
三 五 一 已 ,4 门 一 从 
A 口 区 一 AAA 门 区 一 史 
加 复原 律 ， 
瓦 一 A 
四 对偶 律 (摩根 律 ) ; 
玉 U 百 一 互 门 囊 
五 站 巨 = 二 U 


以 上 八条 运算 定律 ,模糊 集合 和 普通 集合 是 完全 相同 的 ,但 是 普通 集合 的 “互补 律 对 模 灶 
集合 却 不 成 立 , 如 图 6.4 所 示 , 即 





(Ca 4U 玫 天 五 人 44 由 
图 6.4 模 精 集 合 的 运算 不 满足 “互补 律 ” 
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AUA 天 殖 ，A 门 志和 节 
四 、 模 糊 关 系 
设 有 两 个 集合 A,B,A 和 吾 的 直 积 A 勾 召 定义 为 
内 X 吾 一 {a8laEE 及 ,5E 了 B) 
它 是 由 序 偶 (a, 忆 的 全 体 所 构成 的 二 维 论 域 上 的 集合 . 一 般 来 说 Ax B 天 BXxA. 

设 AX 召 是 集合 A 和 吕 的 直 积 ,以 4X 了 为 论 域 的 模糊 集合 民 称 为 4 和 日 的 模糊 关系 . 
也 就 是 说 对 入 x 吾 中 的 任 一 元 素 (a,5) ,都 指定 了 它 对 及 的 隶属 度 px(a, 拉 ,及 的 束 属 度 函 数 
Pa 可 看 做 是 如 下 的 映射 ， 

Hg:AXB[01] 
(Ca ,6 一 pn(ay 信 

设 忆 是 X 和 节 的 模糊 关系 ,R: 是 Y 和 2 的 模糊 关系 ,那么 Ri 和 有 愉 : 的 合成 是 X 到 Z 的 一 

个 模糊 关系 , 记 做 Ri。Ra ,其 隶属 鹿 函 数 为 
ACT 一 Dam (z3) A pns (Co9]， YCzz 人 天 X 民 (6. 2. 10) 


6.2.2 隶属 度 函 数 


模糊 集合 完全 由 其 隶属 度 函 数 所 刻画 . 若 隶 属 度 函 数 的 取 值 只 取 0 和 1, 那么 模糊 集合 就 
虹 化 为 普通 集合 , 所 以 普通 集合 是 模糊 集合 的 特例 ,模糊 集合 是 普通 集合 的 推广 

正确 地 确定 隶属 度 函 数 ,是 运用 模糊 集合 解决 实际 问题 的 基础 ,是 能 否 用 好 模糊 集合 的 关 
键 然而 目前 确定 隶属 度 本 数 还 没有 一 种 成 就 有 效 的 方法 ,仍然 停留 在 依靠 经 验 下定, 然后 再 
通过 实验 进行 修正 . 这 种 方法 经 过 人 脑 的 加 工 ,吸收 了 人 脑 的 优点 ,但 这 与 人 确定 的 心理 过 程 
有 关 , 带 有 一 定 的 言 日 性 和 主观 性 目前 隶属 度 函 数 的 确定 方法 大 致 有 以 下 几 种 ， 

@@ 模 糊 统 计 方法 :用 对 样本 统计 实验 的 方法 确定 隶属 度 函 数 . 

加 例证 法 :从 有 限 个 元 素 的 隶属 度 值 来 估计 模糊 子 集 隶 属 度 函 教 . 

图 专家 经 验 法 :根据 专家 的 经 验 来 确定 隶属 度 函 数 . 

多 机 器 学 习 法 :通过 神经 网 络 的 学 习 训 练 得 到 来 属 度 函数 . 

这 些 方法 不 是 从 根本 上 解决 问题 的 一 般 性 方法 . 但 从 不 同 角度 提出 的 确定 方法 ,在 解决 和 
处 理 实际 的 模糊 信息 问题 时 却 能 殊途同归 . 因此 说 来 属 度 函 数 的 确定 并 不 是 性 一 的 ,允许 有 不 
同 的 组 合 . 至 子 是 可 有 ` 或 者 如 何 确定 和 证 明 最 优 的 隶属 度 函 数 ,还 需要 模糊 理论 家 的 进一步 
研究 和 探索 . 目前 常用 的 隶属 度 函 数 有 : 

1 三 角形 

三 角形 未 属 度 函 数 曲 线 如 图 6. 5 所 示 , 隶 属 度 函 数 的 
解析 式 为 








pr(z) 一 《6. 2. 11) 





， CTS 





0， Y< 古 或 工 > 
2. 梯形 
梯形 与 三 角形 是 最 简单 的 两 种 隶属 度 函 数 ,应 用 也 非 


图 6.5 三 角形 来 属 度 函 数 图 
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常 广泛 . 梯形 隶属 诺 函数 如 图 6. 6 所 示 ,解析 式 表 示 为 


工 一 红 





ze CSXZS 由 

1， zs 
Ar) 一 2 

和 cd 

0， T<a 或 工 > 








6.6 梯形 隶属 度 函 数 
3. 正 态 型 ” 


这 是 一 种 最 主要 最 常见 的 分 布 ,表示 为 : 





名 





arem 人 (于 ) 5 


其 分 布 曲线 如 图 6. 7 所 示 ， 





6.7 正 态 型 分 布 曲线 


小 工 型 
如 图 6.8 所 示 ,解析 式 表 示 为 : 
0， <0 
ce- 人 0 
其 中 )>0,y>0. 
5. Sigmiod 型 
如 图 6.9 所 示 ，, 解 析 式 为 : 
ArcD=T- 


站 


《6.2. 12》 


《6. 2. 13) 


《6.2. 14) 


《656. 2. 15) 


最 后 ,需要 注意 隶属 度 与 概率 之 间 关 系 , 虽 然 二 者 研究 的 都 是 事物 的 不 确定 性 问题 ,在 
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[0;1 区 间 取 值 ,但 概率 研究 的 事件 本 身 是 清晰 的 ,只 是 事件 出 现 的 频率 不 确定 ;而 隶属 度 正 好 
相反 , 它 研究 的 事件 本 身 是 模糊 的 ,事件 出 现 的 频率 是 确定 的 . 


05 








? 四 





图 6.8 T 型 未 属 度 西 数 图 6.9 Sigmoid 型 未 属 度 西 数 
$6.3 模糊 逻辑 与 模糊 推理 


6.3-1 模糊 远 辑 


逮 辑 是 探索 .一 述 和 确立 有 效 推理 原则 的 一 门 学 科 , 是 研究 人 的 思维 形式 和 思维 规律 的 - 
在 历史 上 逮 辑 学 与 数学 相互 渗透 形成 了 一 门 新 的 学 科 一 一 数理 逻辑 . 数理 逻辑 采用 符号 进行 
逻辑 推理 , 它 与 经 典 集合 论 相对 应 ,在 逻辑 上 只 取 真 很 二 箱 ,因此 ,成 为 计算 机 科学 的 基础 理论 
之 一 人们 通常 称 普通 示 辑 为 二 值 巡 辑 , 用 来 表达 一 个 完整 概念 的 语言 或 文字 符 导 称 为 句子 . 
对 于 一 个 句子 ,可 以 判断 其 真 候 时 , 称 该 句子 为 命题. 一 个 命题 的 真 或 假 称 为 该 命 胡 的 真 值 , 盘 
常用 0 或 1 表示 . 当 命题 为 真 时 , 取 真 值 为 1; 当 命题 为 假 时 , 取 真 值 为 0. 

在 现实 当中 一 些 命题 含有 模糊 谓词 ,这 样 的 命题 称 为 攻 糊 命题 . 模糊 命题 不 能 用 绝对 的 真 
假 来 刻画 ,只 能 讨论 其 真 假 程度 如 何 . 因此 ,不 能 只 用 0 .1 二 值 来 质 述 . 很 自然 想到 积 糊 命题 的 
真 值 应 是 未 局 度 函数 ,其 取 值 应 扩大 到 区 间 [o,1] 上 连续 取 值 . 模糊 命题 是 普通 命题 在 概念 上 
的 拓 广 . 它 对 应 的 逻辑 是 连续 逮 辑 (或 多 值 膛 辑 ) ,又 称 为 模糊 逻辑 . 显然 ,不仅 普通 命题 能 反映 
客观 世界 ,而 模糊 命题 更 是 现实 生活 中 常见 的 - 随 著 模糊 远 辑 的 出 现 和 发 展 ,将 对 计算 机 科学 、 
人 工 智能 、 模 糊 控 制 等 方向 的 研究 和 发 展 起 推动 作用 . 

下面 对 横 燃 逻辑 的 运算 作 一 简单 介绍 . 

设 有 模糊 命题 三 和 了 ,对 应 的 实 值 (隶属 度 , 也 称 为 模糊 变量 yz,yE [o,I, 称 ， 

迎 和 AY 为 模糊 逮 辑 合 取 ( 交 .与 ) , 真 值 为 =A 3 一 min(zyy- 

@@XVT 为 模糊 逻辑 析 取 (并 、 或 ) , 真 值 为 zxYy 一 maxCz，,y). 

回 筷 为 模糊 逻辑 否定 ( 补 . 非 ), 真 值 为 荆 =1 一 z. 

@@X-~Y 为 模糊 逻辑 殖 含 , 真 值 为 zx 一? 一 工 Vy 

全 Xe- 了 为 模糊 逻辑 恒 等 , 真 值 为 ze*y 一 民 Vy)A(YVa)- 


S$.3-2 语言 变量 


模糊 逻辑 原则 上 是 一 种 模拟 人 的 思维 的 逻辑 .要 用 从 0 到 | 的 区 间 上 的 确切 数值 来 表示 
一 个 模糊 命题 的 真 假 程度 ,有 时 是 很 西 难 的 . 人 们 在 日 常生 活 中 相互 交流 时 ,使 用 的 是 自然 语 
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言 . 自然 语言 是 以 字 为 符号 ,以 词句 为 单位 的 ,用 来 表达 主客 观 世 界 的 各 种 事物 ,观念 ,行为 和 
情感 的 意义 ,是 人 们 思维 和 交 菠 信息 的 重要 工具 ,其 特点 是 不 确定 性 ,如 "今天 是 个 好 天 气 ”、 
“机 器 太 旧 了 ”等 . 这 种 带 有 模糊 性 的 语言 ,也 称 为 模糊 语言 . 要 用 计算 机 来 模仿 人 的 思维 .推理 
和 判断 ,表达 模糊 语言 ,就 必须 引进 语言 变量 . 扎 德 教授 在 1975 年 提出 了 语言 变量 的 概念 , 语 
言 变 量 实际 上 是 一 种 模糊 变量 , 它 用 词句 而 不 是 用 数字 来 表示 变量 的 “ 值 引进 语言 变量 后 ， 
就 构成 了 模糊 语言 逻辑 . 

一 、 灿 糊 数 与 语言 变量 

模糊 集合 的 应 用 为 系统 地 处 理 不 清晰 .不 精确 概念 的 方法 提供 了 基础 ,可 以 应 用 模糊 集合 
来 表示 语言 变量 . 然而 语言 变量 既 可 以 用 模糊 数 来 表示 ,也 可 以 用 语言 形式 术语 来 定义 . 模糊 
数 和 语言 变量 的 定义 如 下 ， 

连续 论 域 Z 中 的 模糊 数 己 是 一 个 L 上 的 正规 凸 模糊 集合 , 这 里 所 请 正规 集合 的 含义 就 是 
其 求 属 度 函数 的 最 大 值 是 1, 即 mayr(x) 一 1. 这 里 的 西 集合 的 含义 是 :在 求 属 度 画 数 曲 线 上 
任意 两 点 之 间 , 曲 缓 上 的 任意 一 点 所 表示 的 隶属 度 都 大 于 或 者 等 于 两 点 未 属 度 中 较 小 的 一 个 ， 
即 在 实数 集合 的 任意 区 间 [e,5] 上 ,对 于 所 有 的 zxE [e, 的 ,都 有 : 

pr(z) 阅 min(ur(a)var(o),a5 EUzce [ao 《6.3.1) 

语言 变量 用 一 个 有 五 个 元 素 的 集合 CN,T(CN),U,G,MD 来 表征 ,其 中 

(CUDAN 是 语言 变量 的 名 称 , 如 年 龄 . 数 的 大 小 等 : 

(2)77 为 语言 变量 N 的 论 域 ; 

(3)TGCN) 为 语言 变量 的 值 入 的 集合 ,其 中 每 个 和 都 是 论 域 Z 上 的 模糊 集合 ,如 : 

TOGNm 一 邢 年 擒 ) 一 “很 年 轻 ” 十 “年 轻 ” 二 “中 年 "十 “ 较 老 " 十 “很 老 ? 一 

屏 ! 十 Xs 十 买 ; 十 买 , 十 Xe 

《4)G 为 语法 规则 ,用 于 产生 语言 变量 N 的 值 X 的 名 称 ,研究 单词 构成 、 合 成 词 后 词义 的 
变化 ,并 求 取 其 隶属 度 函 数 . 其 中 ,用 “或 "“ 与 "“ 非 ” 作 过 接 词 构成 的 合成 词 ,可 以 按 模糊 逻辑 
运算 取 真 值 , 见 6. 3, 1 节 ; 带 修饰 词 算 子 的 合成 词 ,其 真 值 可 以 根据 经 验 公式 计算 出 来 . 常用 的 
算 子 有 以 下 儿 种 : 

名 语气 算 子 ,如 “很 >“ 略 ”“ 相 当 ” 等 ; 

@@ 模 糊 化 算 了 ,如 “大 概 ?"“ 近 乎 "“ 差 不 多 "等 

图 判定 化 算 子 ,如 “ 贪 向 " “多半 是 ”~“ 倾 向 于 ”等 

《5?M 是 语义 规则 ,根据 语义 规则 给 出 模糊 子 集 和 的 隶属 度 荔 数 . 

以 六 一 年 龄 为 例 ,表征 语言 变量 的 五 元 素 集合 如 图 6. 10 所 示 ， 
年 龄 --- 语言 变量 
-语法 规则 6 
很 老 二 -- 再 言 什 集 合 XI) 
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图 6- 19 表示 年 龄 的 语言 变量 
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例 ZadehLA 在 论 域 避 = 一 [0,100 岁 ] 内 给 出 了 年 龄 的 语言 变量 值 “ 老 “的 模糊 子 集 隶 属 
度 函 数 为 
0， Z<C50 


1  ， 
FE 2250 


其 中 修饰 词 的 隶 属 度 函 数 为 ;pa 一 和 yp 和 一 Am 相当 A 一 上 区 At 名 一 人 全， 一 A 三 机 闪 


一 wa 
一 Ap 人- 


现 以 60 岁 为 例 , 通 过 隶属 度 函 数 分 别 计算 它 属于 “ 极 老 “非常 老 *“ 相 当 老 “比较 老 ”、 
“ 略 老 *“ 稍 微 老 ”的 程度 为 
者 560) 一 [ps(60) 下 一 0. 8) 一 0.41 
At 才 (60) 一 [rs 《60) 下 一 50- 8 一 0. 64 
Al 当 考 60) 一 [wx 者 (60) 了 汪汪 一 (0. 8) 5 一 0.757 
at 人 者 《602? 一 [pa(60) 了 天 一 (0. 8)" 于 一 0. 845 
Ang 者 《60) 一 [psK60)]? 一 (0.8)"5 一 0.89 
AL 才 《60) 一 [js (60) 下 于 一 (0. 8)925 一 0.946 


As (一 


二 ,模糊 语 自 

1 模糊 直言 语句 

模糊 直言 语句 的 句 型 为 “zx 是 4A”, 其 中 是 对 象 的 名 称 ,A 是 论 域 上 的 一 个 模糊 子 集 . 
2. 模 燃 条 件 语 和 铝 

常用 的 模 类 条 件 语句 的 句 型 有 ， 

名 “车 4 则 互 "型 ,也 记 为 让 4 then Bi; 

加“ 若 A 则 日 否则 C? 型 ,也 记 为 这 4then B elseC 

图 “ 若 4 上 且 也 则 C? 弄 ,也 记 为 直 A and 日 then C. 


6.3.3 模糊 推理 


模糊 推理 是 不 确定 性 推理 方法 的 一 种 , 它 是 一 种 以 模糊 判断 为 前 提 , 运 用 模糊 语言 规则 ， 
推出 一 个 近似 的 模糊 判断 结论 的 方法 ,其 基础 是 模糊 运 辑 , 它 是 在 二 值 示 辑 三 段 论 的 基础 上 发 
展 起 来 的 . 虽然 模糊 推理 的 理论 不 是 很 成 热 , 但 是 在 应 用 实践 中 证 明 是 有 效 的 ,并 且 用 这 种 推 
理 方法 得 到 的 结论 与 人 的 思维 一 致 或 接近. 
和 横 糊 推理 的 两 种 重要 推理 规则 ， 
人) 广义 前 向 推理 法 (Generalize Modus Ponens ,简称 GMP) 
前 提 1: 如 果 > 是 4, 则 ?是 如 
前 担 2:z 是 4 
结论 :那么 ?是 吾 " 
《22 广 义 后 向 推理 法 (Generaiize Modus Tollens, 简 称 GMT) 
前 提 1: 如 果 工 是 和, 则 ?是 召 
前 担 2:y 是 B 
结论 :那么 z 是 人 
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1975 年 Zadeh 利用 模糊 变换 关系 ,在 广义 前 向 推理 法 的 基础 上 ,提出 了 模糊 逻辑 推理 的 
合成 规则 ,建立 了 统一 的 数学 模型 ,用 于 对 各 种 模糊 推理 作 统 一 处 理 . 其 推理 规则 为 : 
前 提 : 如 果 是 4, 则 ?是 如 
事实 :z 是 4 
绩 论 :那么 y 是 了 B 一 4…(4~B) 
即 结论 号 可 用 4 与 由 4 到 日 的 推理 关系 进行 合成 而 得 到 ,其 中 的 算 子 “表示 模糊 关系 的 合 
成 运算 ,(4-~~ 呈 ) 表 示 由 4 到 日 进行 推理 的 关系 或 者 条 件 , 即 “如 果 > 是 4, 那 么 y 是 8B" 的 简 
化 表示 方法 , 有 时 (4 一 B) 也 可 写成 Re-a, 其 隶属 度 函 数 被 定义 为 


arB(z3) 一 LAKT) 一 ABC3) 《6. 3. 2) 
那么 B 一 4' (4 一 B) 的 隶属 度 函 数 为 
Pe (2) 一 V funuwCz) ApaaCzyy)) 一 (5.3. 3) 


Y {puw 人 2 [paCz) 一 ps]} 
如 何 实现 合成 运算 ,有 各 种 不 同 的 方法 ,这 决定 于 对 获 含 运算 的 定义 . 
一 、Zadeh 模糊 候 言 推理 法 
Zadeh 把 (4-~B)7 定 义 成 
(4 一 B) 一 1ACI 一 4 十 B) 或 者 (4 一 B) 一 (4AAB)V(I 一 A) 《6. 3.4》 
对 于 后 者 ,其 隶属 度 函 数 为 
Have(zyy) 一 pa(z) -> pay) 一 《6. 3. 5 
Eueas(z) A ws?)] V CD 一 ma(z5 
把 (6. 3. 5) 代 入 (6. 3. 3) 式 , 便 得 到 了 结论 及 的 隶属 度 函 数 ， 
二 、Mamdani 推理 法 
Mamdani 则 把 (4-~B) 定 义 成 (4~~ 本 一 4AB. 下 而 是 Mamdani 推理 法 的 具体 过 程 . 
设 Di UL。 为 寺 个 有 界 论 域 , 记 局 一 [ai 每 个 论 域 按 一 定 规则 分 为 到 个 凸 模糊 
子 集 4y ,其 隶属 度 函 数 记 为 wa (z). 记 有 S 一 (4 一 1,2,…0}. 则 我 们 将 横 糊 规则 集 表 示 
为 : 





宕 GEFCANDKzIS4,))THEN YIS 有 《6. 3. 6) 
其 中 mm 为 模糊 规则 数 ,” 为 输 和 变量 个 数 ,A, BE Si- 
如 果 有 事实 “if ziis aand zais az and…zvis as”, 则 结论 *Y is B'” 可 以 这 样 得 出 :由 前 担 和 
第 条 模 夺 规则 可 得 到 推理 结果 为 B), 则 
RM (==pn (aa) Ap (is) 人 Apas (as) Ap (人 (6.3.7》 
其 中 j 一 1,2…mA?" 表 示 min 操作 . 
经 (6. 3. 6) 式 推理 后 的 结论 中 可 综合 推理 结果 81 ,B:，…Bz ,得 到 : 
pi (加 一 由 (GVps (DYV Var (四 (6. 3.8) 
其 中 V ”表示 max 操作 . 
最 终 系统 的 输出 可 以 由 “重心 法 " 求 出 : 


一 妇 一 一 ， ze 为 常数 (6. 3. 9) 
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图 6. 11 所 示 的 是 规则 数 为 3(mm 一 3, 变量 个 数 为 2(z 一 2 的 Mamdani 推理 过 程 . 














国 6.11 Mamdani 推理 过 程 
三 、 炉 糊 加 权 推 理 法 


在 模 崩 加 权 型 推理 法 中 ,模糊 规则 集 的 结论 表示 为 ww /zi 即将 式 (6. 3. 6) 表 示 为 : 
( 宝 GIFCANDCm IS Ar;))THENY IS ui/z) 《6.3. 10) 
其 中 zz 为 模糊 规则 数 ,* 为 输 人 变量 个 数 ,AE Si ,二 为 常数 . wwi/z 是 构成 模糊 集合 的 一 个 元 
素 , 几 表示 权重 ,并 不 表示 所 的 等 级 ,应 看 做 模糊 规则 自身 的 加 权 , 即 模糊 规则 的 重视 度 或 重 
要 度 , 当 邮 >1 时 ,表示 对 第 了 条 规则 的 强调 , 当 0 委 ww<1 时 ,表示 对 第 了 条 规则 的 抑制 . 
将 推理 结果 中 的 人 运算 改 为 ”， "运算 ,我们 定义 事实 “miis wand zsis as and…zuis wm” 和 
各 模糊 规则 的 前 件 的 适合 度 为 ， 


(2) 一 Phi (aa )。passi (as) pass (as ， 了 一 1;2， (6.3.11) 
则 最 终 的 结论 = 可 将 规则 后 件 在 各 适合 度 w 中 带 上 权重 w;* 由 加 权 平 均 法 求 得 , 即 : 








《6, 3. 127) 





四 、 广 义 模糊 加 权 推 理 法 

在 实际 应 用 领域 , 模 燃 规则 一 般 无 法 直接 得 到 ,我 们 希望 建立 一 个 自 适应 的 模 烂 系统 , 实 
现 模 燃 规则 的 自动 担 取 和 未 属 度 函 数 的 自动 改进 . 为 此 我 们 改进 了 模糊 加 权 型 推理 法 的 推理 
形式 , 握 出 了 广义 模 棚 加 权 型 推理 法 . 在 第 八 章 将 介绍 基于 此 推理 法 的 模 燃 神经 网 络 , 及 其 在 
味觉 信号 识别 中 的 应 用 . 


定义 输入 变量 二 的 模 燃 子 集 数 为 上 ,输出 变量 Y 的 模糊 子 集 数 为 !, 设 巴 一 Ts ， 则 模 燃 
规则 的 最 大 条 数 为 m* 志 试 列举 出 模 燃 规则 的 各 种 可 能 形式 ,并 用 各 规则 对 永 同 结果 的 权重 
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来 表示 推理 结果 的 各 种 可 能 性 . 即将 式 (6. 3. 10) 中 规则 的 结论 变 为 romyaa yz/ rsyaay 
则 模糊 规则 集 可 表示 为 
宣 GFCANDCe IS 4y))THENY IS rnyaavaosy/za yzoayaa)》 《6.3.13》 


其 中 普 为 模 相 逢 则 数 , 为 输入 变 量 个 数 ， ! 为 输出 变量 模 贿 子 集 个 数 ,=; 为 常数 ,是 结论 束 属 
” 度 函 数 的 支 集 值 . wr 表 示 权 重 . 定义 事实 和 各 模糊 规则 前 件 的 适合 度 为 后: 


局 ( 困 一 Ra Ca) ， pas 人) av (as)， 一 1 2… 亚 《6. 3.14) 
则 最 终 的 结论 ze 可 由 于 面 改进 的 加 权 平 均 法 求 得 : 
立 (7CZAen) = 
2 一 一 一 一 《6. 3. 15) 


3 
其 中 扰 xz 可 取 Sigmoid 形 函 数 ， 


CD) 一 1 


Is GD a\8 为 常数 (6- 3- 16) 
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第 七 章 ”模糊 控制 理论 
3$7.1 模糊 控制 原理 


7.1.1 模糊 控制 


经 典 控制 论 在 军事 .工业 航天 等 领域 都 取得 了 很 大 成 就 . 在 应 用 控制 理论 的 时 候 ,必须 首 
先 对 研究 对 象 建立 精确 的 数学 模型 . 但 是 ,在 许多 复杂 的 控制 系统 中 ,例如 复杂 的 工业 系统 .大 
规模 的 交通 控制 系统 、 模 式 识别 系统 等 由 于 系统 的 复杂 性 ,要 建立 精确 的 数学 模型 是 困难 的 . 
至 于 像 生物 学 .经 济 学 ,心理 学 等 领域 中 ,传统 揭 数 学 方法 更 难 进行 . 由 于 这 些 系统 呈现 出 各 种 
不 确定 性 ,使 得 模 帮 数学 成 为 研究 这 类 系统 的 一 个 有 力 工具 . 

正 是 因为 如 此 ,模糊 控制 论 作为 模糊 数学 的 一 个 分 支 ,就 应 运 而 生 , 1974 年 ,英国 工程 师 
Marmdani 首先 把 模糊 集合 用 于 锅炉 燕 汽 机 的 控制 上 ,并 发 表 了 模糊 控制 论 方面 的 第 一 篇 论 
文 . 这 就 标志 着 模糊 控制 的 诞生 . 此 后 ,许多 国家 都 开展 了 这 方面 的 工作 ,并 在 理论 和 应 用 上 都 
取得 了 可 喜 的 成 果 . 

模糊 控制 是 通过 模糊 控制 器 来 实现 的 . 模糊 控制 器 是 对 人 脑 所 具有 的 模糊 推理 机 能 的 模 
拟 . 应 用 模 由 数学 的 知识 ,模拟 人 的 思维 方法 ,把 人 用 自然 语言 描述 的 控制 策略 改造 成 模糊 控 
制 规则 ,把 输入 输出 作为 模糊 集合 按 模糊 描 理 的 方法 进行 处 理 , 进 面 确定 控制 重 , 

先 来 了 解 一 下 人 脑 是 如 何 进 行 模糊 控制 的 ,可 以 通过 考察 一 个 有 经 验 的 操作 人 员 的 控制 
过 程 ,如 航海 驾驶 员 , 当 他 发 现 航船 已 偏离 航线 时 ,实际 上 偏离 多 少 是 准确 值 ,但 反 映 到 驾驶 员 
头脑 中 ( 输 人 ?只 能 是 模糊 概念 , 任 经 验 进行 判断 和 决策 (经 验 就 是 模糊 控制 规则 ) ,决定 操作 ， 
即 进行 打 舵 《输出 ), 输出 晶 然 是 模糊 的 ,但 操作 却 是 准确 的 ， 

根据 上 而 的 形象 分 析 , 实 现 模糊 控制 的 过 程 可 分 成 下 面 三 步 来 完成 。 

一 、 模 糊 化 

当 用 模糊 控制 器 来 代替 人 进行 模糊 控制 时 ,由 于 控制 器 本 身 没有 思维 ,需要 把 观测 值 ( 通 
常 是 精确 数字 ?转化 为 相应 的 模糊 集合 ,这 个 转化 就 是 模糊 化 ,让 模 栏 控制 器 去 处 理 . 为 了 实现 
模糊 化 先 要 进行 论 域 变 换 , 将 真实 论 域 变换 为 内 部 论 域 ,并 要 针对 输入 语言 变量 定义 模糊 于 集 
及 其 求 周 度 函 数 - 

二 、 模 糊 控 制 规则 的 建立 和 模糊 推理 

通过 一 组 模糊 条 件 语 句 构成 模糊 控制 规则 ,并 计算 模糊 控制 规则 决定 的 模糊 关系 ,然后 根 
据 推理 合成 规则 进行 模糊 推理 . 在 这 一 步 , 输 人 语言 变量 被 加 到 一 个 让 …then… 控 制 规则 的 集 
合 中 去 ,把 各 种 规则 的 结果 加 在 一 起 产生 一 个 “模糊 输出 集合 . 

模糊 控制 规则 通常 是 将 操作 者 在 控制 过 程 中 的 实践 经 验 ( 即 手动 控制 策略 ) 加 以 总 结 面 得 
到 的 一 条 条 模糊 条 件 语 句 ( 形 如 “if…rhen…”), 它 是 模糊 控制 的 核心 - 

模 烂 控制 规则 集 是 由 一 组 被 此 间 通 过 “或 "关系 连接 起 来 的 模糊 条 件 语句 来 描述 的 . 其 中 
每 一 条 模糊 条 件 语句 , 当 输 入 、 和 输出 语言 变量 在 各 自 论 域 上 对 各 模糊 子 集 的 隶属 度 为 已 知 时 ， 
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都 可 以 表达 为 论 域 直 积 上 的 模糊 关系 . 在 计算 出 每 一 条 模 椭 语句 决定 的 模糊 关系 (i 一 1,2， 
六 其 中 闫 为 一 组 烛 棚 条 件 语句 中 的 语句 数 ) 之 后 ,考虑 到 这 些 模 灶 条 件 语句 间 是 “或 的 
关系 ,可 得 描述 整个 系统 的 控制 规则 的 总 模 狂 关系 尺 为 


R=RUR U…UR。 一 局 R， (7.1.1 





三 、 解 模糊 判决 

通过 模 栏 推理 得 到 的 结果 是 一 个 模糊 集合 或 者 隶属 度 函 数 ,但 在 实际 应 用 中 ,往往 需要 的 
是 一 个 确定 的 值 .在 推理 得 到 的 模 柳 集合 中 到 一 个 最 能 代表 这 个 模糊 集合 的 单 值 的 过 程 叫 做 
解 模 棚 判决 或 者 非 模 棚 化 (Defuzzication?- 解 模糊 判决 可 以 采用 不 同 的 方法 ,不 同方 法 所 得 到 
的 结果 是 不 同 的 . 理论 上 用 重心 法 比较 合理 ,但 是 计算 比较 复杂 , 故 在 实时 性 要 求 高 的 系统 中 
不 采用 这 种 方法 . 最 简单 的 方法 是 取 大 隶属 度 方法 ,但 这 种 方法 未 考虑 其 他 隶属 度 较 小 的 那些 
值 的 影响 ,代表 性 不 好 ,所 以 经 常用 于 简单 的 系统 , 介 于 这 两 者 之 间 的 还 有 各 种 平均 法 ,如 加 权 
平均 法 .隶属 度 限 旺 (e-cut) 元 素平 均 法 等 . 

1 重心 法 

所 谓 重 心 法 就 是 取 模 糊 未 展 度 函数 曲线 与 横 坐 标 辅 围 成 面积 的 重心 作为 代表 点 . 理论 上 
说 ,应 该 计算 输出 范围 内 一 系列 连续 点 的 重心 , 即 


[mscpdz 
[mcpdz 


但 是 在 实际 应 用 中 ,可 以 计算 输出 范围 内 洲 干 离散 值 的 重心 ,用 足够 小 的 采 祥 间 贾 来 提供 所 需 
要 的 精度 ,这 是 一 种 较 好 的 折衷 方 案 , 即 


prGz) 3 
pvcna) 机 
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2. 最 大 隶属 度 法 

这 种 方法 最 简单 ,只 要 在 推理 结论 的 模糊 集合 中 取 束 属 度 最 大 的 那个 元 素 作为 输出 量 即 
可 .不 过 这 种 情况 下 其 隶属 度 曲线 一 定 是 正规 凸 模 奈 集合 ( 即 曲线 只 能 是 单 峰 曲 线 ). 另外 ,如 
果 该 曲线 是 梯形 平 项 的 ,那么 具有 其 大 隶属 度 的 元 素 就 可 能 不 止 一 个 ,这 时 就 要 对 所 有 取 最 大 
未 属 度 的 元 素 求 平均 值 . 

3. 系数 加 权 平 均 法 

系数 加 权 平 均 法 的 输出 由 下 式 决定 ， 


二 Zr， (7 工区 
了 和 

这 里 的 系数 上 的 选择 要 根据 实际 情况 决定 ,不 同 的 系数 决定 系统 具有 不 同 的 响应 特性 . 当 系 
数 选 择 占 一 pw (z) 时 , 即 取 其 隶属 度 函 数 时 ,这 就 是 重心 法 . 在 模糊 多 辑 控制 中 ,可 以 通过 选择 
和 调整 该 系数 来 改善 系统 的 响应 特性 ,这 种 方法 具有 较 大 的 灵活 性 . 

4. 隶属 诬 限 畅 元 素平 均 法 

用 所 确定 的 未 属 度 值 " 对 隶属 度 函 数 曲线 进行 切割 ,再 对 切割 后 等 于 该 未 属 度 的 所 有 元 
素 进行 平均 ,用 这 个 平均 值 作为 输出 ,这 种 方法 称 为 隶属 度 限 站 (ecut) 元 素平 均 法 . 
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7.1.2 模糊 控制 器 前 基 本 结构 与 工作 原理 


最 简单 的 模糊 控制 器 (Fuzzy Controler, 简 称 FC) 葛 结构 如 图 7. 1 所 示 - 虚线 框 内 药 就 是 
模 崩 控制 器 (FC) ,要 完成 一 次 控制 动作 ,首先 将 观测 值 输入 模 焕 控制 器 ,观测 值 在 控制 器 内 经 
过 模糊 化 ,根据 模糊 规则 集 进行 模糊 推理 ,得 到 的 模 燃 响 应 经 过 解 模糊 判决 后 ,输出 确切 响应 ， 
然后 作用 到 被 控 对 象 上 . 





























-| 宣 条] 
图 7.1 模糊 控制 器 的 示意 


由 于 模 烦 控 制 器 的 控制 规则 是 根据 操作 者 指 手 动 控制 经 验 总 结 出 来 的 ,而 操作 者 一 般 只 能 观 
察 到 被 控 对 象 的 输出 变量 及 其 变化 率 , 故 在 模 衫 控制 器 中 通常 将 误差 及 其 变化 作为 输入 语言 变量 ， 
而 将 控制 量 的 变化 作为 输出 语言 变量 ,并 作为 被 控 对 象 前 输 和 人 变量 . 以 系统 误差 及 其 变化 率 作为 输 
人 谐 言 变量 ,以 控制 量 的 变化 作为 输出 语言 变量 的 模糊 控制 器 结构 如 图 7. 2 所 未- 






























































图 7.2 模糊 控制 器 的 结构 
图 中 ,z% 是 被 控 对 象 的 输 和 人 ,是 被 控 对 象 的 输出 ,六 是 参考 输入 ,ea 一 忆 一 % 是 误差. 模糊 
控制 器 根据 误差 信号 “产生 合适 的 控制 作用 w ,输出 给 被 控 对 象 . 模糊 控制 器 主要 由 模糊 化 接 
口 \ 知 识 库 、 模 类 推理 机 、 解 模糊 接口 四 部 分 组 成 ,各 部 分 的 作用 概述 如 下 . 
一 、 检 糊 化 接口 (Fuzzification) 
模糊 化 接口 接受 前 输入 只 有 误差 信号 e ,由 ec 再 生成 误差 变化 率 6,, 或 误差 的 差分 Ae. , 模 





类 化 接口 主要 完成 以 下 两 项 功能 . 

(1) 论 域 变换 :e 和 *, 都 是 非 模糊 的 普通 变 基 ,它们 前 论 域 ( 即 变化 范围 ) 是 实数 域 上 的 一 
个 连续 闲 区 间 , 称 为 真实 论 域 , 分 别 用 X 和 工 来 代表 . 在 模糊 控制 器 中 ,真实 论 域 要 变换 到 内 
部 论 域 民 和 六- 如 果 内 部 论 域 是 离散 的 (有 限 个 元 素 ), 模 糯 控 制 器 称 为 “离散 论 域 的 模糊 控 
制 器 (D-FC)”, 如 果 内 部 论 域 是 连续 的 (无 穷 多 个 元 素 ) ,模糊 控制 器 称 为 “连续 论 域 的 模糊 控 
制 器 (CEFC)” 对 于 PDFC,X ,7 一 10, 士 整数 } ;对 于 CFC, 和 ,YY' 一 [一 1,1]. 无 论 是 中-FC 还 
是 C-FC, 论 域 变换 后 e ,ez, 变 成 er ,2 ,相当 乘 了 一 个 比例 因子 (还 可 能 有 偏 移 ). 

《2) 模 糊 化 : 论 域 变换 后 ”和 e” 仍 是 非 模糊 的 普通 变量 ,对 它们 分 别 定义 若干 个 模糊 集 
合 , 如 < 负 大 (NL)”“ 负 中 (NM)”“ 负 小 (NS)”“ 零 (2Z)>“ 正 小 (PS)”>“ 正 中 (PM)”“ 正 大 
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(CPL)”…，* 并 在 其 内 部 论 域 上 规定 各 个 模糊 集合 的 隶属 度 函 数 . 

在 上 时 刻 输 和 人 信和 号 的 值 e.,z,，* 经 论 域 变 钦 后 得 到 。 ,er ,再 根据 隶属 度 函 数 的 定义 可 以 
分 别 求 出 e” ,eg 对 各 模糊 集合 的 隶属 度 ,如 pm Ce, ) .rw(e' )、…， 这 样 就 把 普通 变量 的 值 变 
成 了 模糊 变量 ( 即 语言 变 景 ) 的 值 ,完成 了 模糊 化 的 工作 - 注意 ,在 这 里 e* ,*” 肥 代 表 普 通 变 量 
又 代表 模糊 变量 ,作为 普通 变量 时 其 值 在 论 域 X“ ,Y 中 ,是 普通 数值 ,作为 模糊 变量 时 其 值 在 
论 域 L[0,1] 中 ,是 隶属 度 . 

二 ,知识 库 (CKnowledge Base) 

知识 库 中 存 贮 着 有 关 模 糊 控 制 器 的 一 切 知识 ,它们 决定 着 模糊 控制 器 的 性 能 ,是 模糊 控制 
器 的 核心 . 知识 库 又 分 为 两 部 分 ,分 别 介绍 如 下 ， 

1. 数据 库 CData Base) 

数据 库 中 存 贮 着 有 关 模 糊 化 ,模糊 推理 、 解 模糊 的 一 切 知识 ,包括 模糊 化 中 的 论 域 变换 方 
法 、 输 人 变量 各 模糊 集合 的 隶属 度 函 数 定义 等 ,以 及 模糊 推理 算法 、 解 模糊 算法 、 输 出 变量 各 模 
糊 集合 的 隶属 度 函 炒 定 义 等 . 

2. 规则 库 (Rule Base) 

就 是 模糊 控制 规则 集 , 即 以 “if…then…” 形 式 表 示 的 模糊 条 件 语句 ,如 

Reris Al and zy is Bthenar is Ci， 

Ri:ifteris A, and 上 fr is B, ,then xiCa， 








Rs:if er is A。and zy is Bthen wy is C, 
其 中 ,er” 和 e” 就 是 前 面 所 说 的 模糊 语言 变量 ,Ai ,4: ,…,'4, 是 e” 的 模糊 子 集 ,Bl，B: ,…，B。 
是 e” 的 模糊 子 集 ,C, ,C. %…,C, 是 2 的 模糊 子 集 . 

规则 库 中 的 于 条 规则 是 并 列 的 ,它们 之 间 是 “或 "的 逻辑 关系 ,整个 规则 集 的 总 模糊 关系 为 

R 一 蝇 R， ， 《7.1.5) 

三 模糊 推 理 所 (Inference Engine) 

由 6. 3. 3 节 介 绍 的 模糊 推理 方法 我 们 知道 ,模糊 控制 应 用 的 是 广义 前 向 推理 . 在 时刻， 
若 输入 量 为 和 es ,ee EX er EDY ,有 目 论 域 X,Y' 和 2 都 是 离散 的 ,e* 在 X 上 对 应 矢量 
4 ey” 在 交 上 对 应 矢量 好 ', 则 推理 结果 是 Z 上 的 矢量 C， 

C 一 (4 XB) -及 《7.1.6) 





四 、 解 模糊 接口 (Defuzzification) 

解 模糊 可 以 看 作 是 模 粗 化 的 反 过 程 , 它 要 由 模糊 推理 结果 产生 控制 ww 的 数值 ,作为 模糊 
控制 器 的 输出 , 解 模糊 接口 主要 完成 以 下 两 项 工作 ， 

《1) 解 模糊 :对 z 也 要 由 真实 论 域 Z 变换 到 内 部 论 域 上 2 ,对 wx EZ 定 义 若干 个 模糊 子 
集 , 并 规定 各 模糊 子 集 的 隶属 度 函 数 . 模糊 推理 是 在 内 部 论 域 上 进行 的 ,因此 得 到 的 推理 结果 
心 是 Z "上 的 模糊 矢量 ,其 元 索 为 对 wx 的 某 个 柳 糊 子 集 的 素 属 度 . 对 某 组 输 人 ,一 般 会 同时 满 
足 多 条 规则 ( 称 为 激活 ), 因 此 会 有 堵 个 推理 结果 C:,i 为 不 同 的 模糊 集合 . 求 曲 C,, 并 用 某 种 解 
模糊 算法 ( 见 7. 1. 1 节 ) ,可 求 得 此 时 的 内 部 控制 量 wx . 

《22 论 域 反 变换 ;得 到 的 we E2 ,进行 论 域 反 变换 即 得 到 真正 的 输出 wEZ, 它 仍然 是 非 
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模糊 的 普通 变量 . 
$7.2 模糊 控制 器 的 种 类 和 设计 


7.2.1 模糊 控制 器 的 分 类 


一 DERC 和 C-FC 

模糊 控制 骂 输 入 输出 变量 的 实际 论 域 一 般 是 实数 域 上 的 连续 论 域 ,而 这 些 变 量 在 模糊 控 
制 器 内 部 的 论 域 可 以 是 连续 的 也 可 以 是 离散 的 ,因此 模糊 控制 器 可 以 分 成 DFC( 离 敬 论 域 的 
模糊 控制 器 ) 和 C-FC( 连 续 论 域 的 模糊 控制 器 ) 两 大 类 . D-FC 控制 时 间 短 .性 能 稳定 .对 环境 变 
化 不 敏感 ,而且 算 法 非常 简单 、 热 行 快 ,用 八 位 的 微型 机 邑 可 实时 控制 , 它 适 用 于 简单 的 .要求 
不 高 \ 不 需要 矿 改 的 场合 ,如 家 电 - 而 C-FC 具有 精度 高 .设计 调试 容易 的 优点 ,可 用 于 多 变量 、 
高 精度 、 秽 要 秘 改 的 场合 . 

二 、PD,PI,PID 型 的 模糊 控制 器 

PIDCProportional Integral Differential) 控 制 是 最 常用 的 经 典 控制 方法 ,控制 作用 zx 由 偏 
差 e 的 比例 、 积 分 、 微 分 三 项 之 和 给 出 ， 


5 一 Ke 十 下 | cde 二 Koe (7.2.1) 


如 果 控制 作用 中 只 包括 比例 和 积分 两 项 , 则 为 FI 控制 ;如 果 控 制作 用 只 包含 比例 和 微分 两 项 ， 
则 为 PD 控制 . PID 控制 中 的 比例 增 益 Ke 、 积 分 玉 益 KK 和 微分 增益 KKp 区 为 常数 ,一 旦 控制 办 
设计 好 以 后 ,在 控制 过 程 中 不 再 改变 ,因此 PID 控制 属于 线性 定常 数控 制 、 


模 奈 控制 本 质 上 是 非 线性 的 ,但 是 其 输入 变量 也 包括 c,z 和 j edz 输 出 变量 也 有 zx( 位 量 


输出 和 Ax( 增 量 输出 ) 两 种 形式 , 与 PID 控制 的 输入 输出 变量 是 完全 相同 的 . 类 比 传统 的 
PD,PL,PID 控制 ,可 将 模糊 控制 器 分 为 以 下 三 种 类 型 ， 

1. PD 型 的 模糊 控制 器 

前 而 讲 的 模糊 控制 器 (图 7. 2 输入 是 和 :上 ,输出 是 x, 模 糯 近 制 奖 的 功能 可 看 做 是 一 个 
非 线性 函数 

















& 一 esp) 《7. 2. 2》 
这 种 模糊 控制 器 的 输入 输出 信号 与 PD 控制 器 相同 ,控制 特性 也 和 PD 控制 器 类 似 , 故 称 为 PD 
型 的 模糊 控制 器 . 
2. PI 型 的 模糊 控制 器 ， 
如 果 输 人 仍 为 。 和 ,但 输出 改 为 控制 的 增 量 AxsezAt, 则 柜 硼 控制 器 可 表示 为 
Az 一 万 (e 的 《7.2.3) 
上 式 两 边 对 上 积分 可 得 


2 一 户 (| edte) 《7.2.4) 


可 见 此 时 的 模糊 控制 器 与 PI 控制 器 类 似 , 故 称 为 PI 型 的 模糊 控制 器 . 
3. PID 型 的 模糊 控制 器 
同样 的 道理 ,PID 型 的 模糊 控制 器 有 两 种 实现 方法 , 即 
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2 一 万 (ee ao 《7.2 本 
xz 一 户 Ceyey6) 《7.2.6》 


7.2.2 模糊 控制 器 的 设计 方法 


在 设计 模糊 控制 器 时 需要 考虑 以 下 几 个 方面 . 

(1) 选 择 合适 的 模糊 控制 器 类 型 . 这 个 问题 取决 于 被 控 对 象 的 特性 .控制 要 求 和 实现 手段 ， 
需要 具体 问 题 具 体 分 析 . 例如 可 采用 最 常用 的 连续 论 域 .PI 型 .结论 为 数值 的 模 灶 控 制 器 . 

《2) 确 定 输入 输出 变量 的 实际 论 域 , 一 般 来 说 答 人 信号。,Ae 和 输出 信号 ex 的 变化 范围 
是 由 实际 控制 系统 决定 的 ,但 有 时 也 有 一 定 的 调整 余地 . 调整 e,Ae, Aa 的 实际 论 域 相当 于 改 
变 比 例 因子 ,对 控制 器 的 性 能 影响 很 大 . 

53) 确定 。,AeyArv 的 模糊 集 个 数 及 各 模糊 集 的 隶属 度 本 数 . 模糊 集 的 个 数 一 般 选 为 3.5、7 
个 ,个 数 多 ,模糊 控制 器 的 灵敏 性 好 ,但 规则 的 数目 成 平方 增长 . 

输出 素 属 度 函数 选 为 单 点 ,可 使 解 模 贿 简单 , 输 人 求 属 度 函 数 选 为 三 角形 或 钟 形 ( 正 态 曲 
线 ) 对 控制 性 能 影响 不 大 ,而 选 三 角形 时 模糊 化 算法 简单 ， 

〈 人 设计 模糊 控制 规则 集 . 规则 集 是 决定 模糊 控制 器 性 能 的 关键 因素 ,一 般 是 根据 经 验 来 
设计 ,或 是 用 模糊 聚 类 分 析 方法 从 控制 器 的 已 有 输入 输出 样本 中 自动 提取 . 

《5 选择 模糊 推理 方法 . 按 6. 3. 3 选择 合适 的 模 糯 推 理 方法 . 

〈6) 解 模糊 方法 , 按 7. 1. 1 节选 择 合适 的 解 模糊 判决 方法 . 


8$7.3 模糊 控制 的 应 用 


7.3.1 燕 汽 发 动机 的 模 棚 控 制 系统 


英国 学 者 Mamdani 和 Assilian 最 早 研究 了 小 型 实验 室 汽 轮机 的 模糊 控制 系统 ,这 一 开创 
性 的 工作 ,为 模糊 控制 理论 和 应 用 英 定 了 基础 . 

被 控 对 象 是 蒸汽 发 动机 和 锅炉 . 莱 汽 发 动机 是 通过 调整 发 动机 汽 生 的 油门 控制 它 的 速度 ,而 锅 
炉 是 以 热量 作为 输入 量 ,控制 锅炉 的 气压 . 图 7, 3 为 闵 汽 机 和 锅炉 的 模糊 控制 系统 示意 图 . 





























人 下 力 识 区 热量 | 
给 定 模糊 控制 器 燕 洛 机 系统 
TCD 条 E 


图 7.3 燕 汽 机 和 锦 炉 模糊 控制 系统 




















这 是 一 个 两 输 和 人 两 输出 控制 系统 , 控制 变量 分 别 为 锅炉 的 热量 与 蒸汽 机 油门 的 开 度 . 采用 
传统 控制 方法 控制 上 述 过 程 比较 困难 ,原因 在 于 这 个 过 程 的 非 线性 、 曲 声 以 及 两 个 控制 回路 间 
的 强 耦 合 . 
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一 \ 模 顶 控制 器 的 结构 

模糊 控制 器 采用 以 下 6 个 模糊 变量 

人 PE(Pressure Prror) 压力 误差 ; 

@@SE(Speed Error) 速度 误差 ; 

图 CPE(Change in Pressure Error) 

二 CSE(CChange in Speed Error) 

加 HC(CHeat Change) 一 一 热量 变化 ; 

@@TC(Throttle Change) 一 -油门 变化 . 
其 中 PE,SE,CPE 及 CSE 为 输 人 模糊 变量 ,而 HC 及 TC 为 输出 模糊 变量 . 

模糊 控制 器 是 采取 独立 控制 压力 和 速度 的 方式 ,因此 ,对 于 控制 讨 力 而 言 , 它 的 输入 变量 
为 压力 误差 及 讨 力 误差 的 变化 ; 现 对 于 控制 速度 而 言 , 它 的 输 和 人 变量 为 速度 误差 及 速度 误差 的 
变化 . 

二 、 模 椭 变 量 的 论 域 及 其 隶属 座 函 数 

把 误差 (PE,SE) 论 域 量化 为 14 挡 , 即 { 一 6, 一 5 一 1 一 0, 十 0, 十 1, 十 2 十 5. 

选择 误 老 变量 的 模糊 子 集 , 即 {PL( 正 大 ),PM( 正 中 ), PS( 正 小 ),PZ( 正 零 ) ,NZ( 负 零 )， 
NS( 负 小 ) ,NM( 负 中 ) ,NLC 负 大 ))， 

误差 模糊 变量 的 疑 值 如 表 7. 1 所 示 - 

表 7.1 误差 模糊 变量 的 赋值 表 











压力 误差 的 变化 
速度 误差 的 变化 ; 

















一 - |] -1 -| ro]+f yl] +] HT 16 
PPL 人 0 日 日 Q 0 呈 D. 生 0.8 1.0 
PM 折 站 有 人 旧 D .也 0 了 7 1.0 0.7 -人 
了 PS 0 站 D 中 0 3 0.8 1.0 0.5 0,1 人 9 
了 Z 0 站 D 0 1 0 0.6 0.1 0 0 站 0 
NZ 上 Q.1 0.6 1 吕 自 日 疾 和 0 
NS D 工 .0 0.83 0-3 0 日 DO 日 D D D 
NM 0.2 0.2 0 丰 D 日 了 D 日 D 
NE 了 0 昌 站 目 站 0 0 0 0 L 0 0 





























误差 模糊 变量 的 同 值 是 根据 表 7. 2 中 给 出 的 模 糊 变量 隶属 度 荔 数 相应 的 表达 式 确定 的 - 
家 7.2 模糊 变量 的 束 属 度 函 数 








模 岩 子 集 雪 达 式 

中 1 一 exp[ 一 9. 5711 一 二 1)23] 

1 一 exp[ 一 0. 25710.7 一 1)25] 
PS 1 一 exp[ 一 《0. 35710.4 一 35 
b2Z exp[ 一 51z 一 0.05 门 
NzZ exp[ 一 51z 十 0.05|] 
NS 工 一 exp[ 一 (0.2571 一 0.4 一 zl1)235] 
NM 1 一 exp[ 一 (0.Z57| 一 0.7 一 过 |)2 5 
NL 1 一 exp[ 一 (0.5/1 一 1 一 z025 








将 误差 变化 (CCPS,CSE) 论 域 量化 为 13 挡 , 即 { 一 5, 一 5，-…，, 一 1,0, 十 1, 十 2 十 6 
选择 误差 变化 的 模糊 子 集 , 即 {PL,PM,PS,Z,NS,NM,NL}. 
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误差 变化 的 模糊 变量 赋值 如 表 7. 3 所 示 . 
表 7.3 误 头 变化 模 朝 变量 的 冉 值 表 
1-6 -5 -tt -3 -2 -1 +0 +l + +3 4 +5 十 6 
PL 0 0 0 用 6 0 0 0 0 ol 04 08 1.0 
PM 0 D 局 站 0 -0 0 ,2 D7 1.0 0-7 0. 2 
PS 0 D 由 日 0 站 站 D.9 1.0 7 0.2 人 D 
了 D 品 [1 DO D 0.5 1.9 D.5 0 0 D D D 
NS 了 D .2 日 7 四 0.9 自 D 站 D D D D 
NM 02 07 10 07 02 0 0 0 0 0 0 0 0 
RNL 1.0 0.8 0. 4 人. 了 0 0 0 人 0 和 D 0 
、 
热量 变化 (HC) 的 论 域 量 化 为 15 挡 , 即 { 一 7, 一 6,…， 一 1,0, 十 1 十 2 十 7 
热量 变化 的 模 柳 子 集 与 误差 变化 的 模 栏 子 集 相同 , 即 {PL,PM,PS,Z,NS,NM,NL}, 
热量 变化 的 模糊 变 晤 赋值 如 表 7. 4 所 示 . 
衣 7.4 热 重 变化 模糊 变量 默 值 家 
-7-6 -5 -4 -3 - -1 9 +i +2 +3 + +5 +6 二 ?7 
BPL 0 0 日 日 昌 站 DO 站 0 0 0 0.1 4 0D.8 1.0 
PM |0 0 日 D D Q 站 0 允 入 2 D.7 1.0 忆 7 马 2 日 
PS 日 人 @ 们 昌 人 0 二 1.0 .8 站 .二 D-1 0 人 D 
Z 0 9 人 0 站 了 站 日 .2 .0 0.2 站 日 0 0 蜂 
NSloo 9 01 64 08 10 pt 0 0 0 0 0 0 
NM |0 02 07 1.0 0.7 0.2 0 站 站 0 0 0 D 自 品 
NL ho08 014 0.1 自 日 0 人 0 0 站 D 自 D 
油门 变化 CTC) 的 论 域 量 化 为 5 挡 , 即 { 一 2 一 190, 十 1 十 3j. 
油门 变化 的 模糊 子 集 选 为 TPL,PS,Z,NS,NL}. 
油门 变化 的 模 棚 变 量 赋值 由 表 7. 5 给 出 . 
表 7.5 油门 变化 的 模糊 变量 同 值 卖 
一 2 一 1 0 十 1 十 2 
PL 0 D 人 人 .5 10 
PS 0 0 ,5 1.0 0.5 
也 0 1.0 .5 0 站 
HS 0.5 1.0 0.5 0 0 
NL 1.0 0.5 0 0 0 
三 \ 模 糯 控 制 规则 
两 个 控制 环 分 别 制定 两 套 模糊 控制 规则 如 下 : 
二 压力 控制 规则 


让 PE 一 NL then ii CPE 一 notC NL or NM ) then HC 一 PL 
or 1PE 一 (NLorNM)thenifCPE=NS then NC 一 PM 
or 让 PE 一 NSthenifCPE 一 (PSorNZ)then HC 一 PM 
or 庄 PE 一 NZ then 寺 CPE 一 ( PL or PM ) then HC 一 PM 
or 让 PE 一 NZ then if CPE 一 (NL or NM ) then HC 一 NM 
or 让 PE 一 (PZ or NZ ) then 计 CPE=NZ then HC 一 NZ 


oOT 
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让 PE 一 PZ then CPE 一 (NL or NM ) then HC 一 PM 

这 PE 一 PZ then 计 CPE 一 (PL or PM ) then HC 一 NM 

让 PE 一 PS then 过 CPE 一 ( PS or NZ ) then HC 一 NM 

让 PE 一 PL or PM ) then if CPE 王 NS then HC 一 NM 

让 PE 一 PL then 让 CPE 一 not CNL or NM ) then HC=NL 
于 PE 一 NZ then 让 CPE=PS then HC 一 PS 

让 PE 一 NZ then CPE 一 NS then HC 一 NS 

让 PE 一 PZ then if CPE 一 NS then HC 一 PS 

让 PE 一 PZ then if CPE 一 PS then HC 一 NS 


2. 速度 控制 规则 


让 SE 一 NL then if CSE 一 not(NL or NM)then TC=PL 

让 SE 一 NM then if CS 它 一 (PL or PM or PS)then TC 一 PS 

计 LSE 一 NS then 让 CSE 一 (PL or PMD)then TC 一 PS 

让 SE 一 NZ then ii CSE 一 PL then TC 一 PS 

让 SE 一 (PZ or NZ)rhen if CSE 一 (PS or NS or NZ)then TC 一 NZ 
这 SE 一 PZ then CSE 一 PL then TC 一 NS 

站 SE 一 PS then 让 CSE 一 (PL or PM)then TC 一 NS 

站 SE 一 PM then 计 CSE 一 (PL or PM or PS)then TC 一 NS 

让 SE 一 PL then 过 CSE 一 not(NL or NM)then TC=NL 


、\ 措 糊 控 制 的 结果 


Mamdani 比较 了 锅炉 出 口 压力 的 模 崩 控制 结果 和 传统 的 控制 系统 DDC 控制 的 结果 ,二 
种 控制 系统 都 是 调整 到 最 佳 状态 . 两 种 控制 结果 的 阶 脆 响应 曲线 如 图 7. 4 所 示 .， 








-- 一 e 
830 240 400 560 720 800 才 
图 7.4 阶 路 响应 曲 


实验 表明 , 当 工作 条 件 在 大 范围 内 变动 时 , DDC 调整 ,而 且 由 于 动力 过 程 的 改变 。 
DDC 藉 制 方式 无 法 在 同一 组 参数 下 得 到 满意 的 控制 特性 . 与 此 相反 ,模糊 控制 系统 由 于 对 过 
程 参数 的 变化 很 不 灵敏 ,所 以 它 在 所 有 的 工作 点 都 能 获得 很 好 的 控制 效果 - 由 于 落 汽 机 的 特性 
随时 间 非 线性 变化 ,因而 DDC 控制 应 该 经 常 进行 参数 的 再 调整 . 模糊 控制 器 却 没有 这 种 必要 ， 
因为 它 具 有 较 强 的 适应 能 力 和 抑制 噪声 能 力 . 


了 .3.2 


还 原 炉 温度 的 模糊 控制 系统 


九 管 还 原 炉 是 对 氧化 钨 粉末 加 热 并 通 人 氧气 使 其 还 原 成 侈 的 设备 ,分 为 六 个 温 区 ,要 求 每 
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个 温 区 的 温度 稳定 在 某 个 给 定 值 , 如 第 一 温 区 550C ,第 二 温 区 650C ,…, 偏 差 不 大 于 士 5 记 ， 
因为 有 六 个 温 区 , 故 对 每 个 温 区 设计 了 一 个 温度 控制 系统 ,如 图 7. 5 所 示 、 





了 


加 
和] 天 锁定 






































图 7.$ 还 原 炉 温度 的 模糊 控制 系统 
图 中 z 是 温度 给 定 值 ,> 为 被 控 对 象 的 光度 量 测 值 ,e 一 ?一 > 是 温度 误差 ,Ae 是 温度 误差 
差分 ,Ae, 一 <-: 一 ez 为 控制 量 , 它 对 应 着 电 加 热 装 轩 的 可 控 硅 导 适 角 的 变化 量 . 
一 、 模 糊 变 量 的 论 域 及 其 素 属 度 函 孝 
ev,Ae 以 都 是 实数 域 上 的 连续 变量 ,变化 范围 分 别 为 :eE [一 30,30],AeE[ 一 24,24],zxE 
[一 36 ,36], 
将 温度 误差 e 量 化 为 14 挡 , 即 .e" 生 { 一 6 一 5 一 1 一 0, 十 0, 十 1, 十 2 十 6}. 
选择 温度 误差 e“ 的 模糊 子 集 , 即 吾 一 (PL( 正 大 ),PMK 正 中 ) ,PS( 正 小 ),PZ( 正 零 ),NZ 
《〈 负 零 ) ,NS( 负 小 ),NM( 负 中 ),NLC 负 大 )] 一 1:2，8. 
温度 误差 。" 的 模糊 变量 的 赋值 如 表 7. 6 所 示 . 
表 ?.6 温度 误 故 ** 的 模糊 变量 赋值 胡 


























-6 一 5 一 4 -3 一 2 -+ -0 +0 +l +2 +3 T+4 +5 6 
FL 0 0 0 9 0 日 日 0 0 0 0 02 07 和 0 
PM 0 0 0 Q 0 日 D 0 0 02 07 10 607 02 
PS 0 0 们 0 0 9 0 01 0? 10 07 01 0 
PZ 0 0 人 人 0 昌 0 10 07 0 0 0 0 0 
NZ 0 0 0 0 01 07 10 人 0 0 0 0 0 0 
NS 0 9 01 07 10 07 01 人 0 人 0 0 0 0@ 
NM 0.2 0.7 1.0 0.7 0.2 0 D 0 人 0 人 0 0 0 0 
NL |10 07 02 0 0 日 0 0 0 0 0 0 0 0 








将 温度 误差 差分 Ae 量 尼 为 13 挡 , 即 Ae" 所 (一 6, 一 5 一 1,0, 十 1 ,十 2,… 十 6}， 
选择 温度 差分 Ae' 的 模糊 子 集 , 即 A 析 一 (PL,PM,PS,Z,NS,NM,NL},j 一 1,2，…，7- 
温度 差分 Ae" 的 模糊 变量 的 赋值 如 表 ?7. 7 所 示 ， 

囊 7.7 进度 划分 Ae' 的 杆 贿 变量 赋值 表 








-4 -3 -2 -1 0 Ali +2 +3 + 二 5 二 6 
0 0 0 0 0 0 0 0 02 07 19 
0 0 0 D 0 0 02 08 .10 08 02 
日 站 人 在 日 0.8 1.0 D.S8 0.2 D 0 
耻 0 0 05 10 05 9 0 9 0 
02 08 10 08 9 0 9 0 0 0 0 
10 08 02 0 0 0 0 @ 0 0 

0.2 0 0 0 0 0 0 0 0 0 








将 控制 量 x 量化 为 13 挡 , 即 zx E{ 一 6, 一 5 一 1,0, 十 1, 十 2,… 十 6}. 
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选择 控制 量 “的 模糊 子 集 , 即 [一 1PL,PM,PS,Z,NSINMINL}k 一 1,2，…，7. 
控制 量 “的 模糊 变量 的 赋值 如 表 7. 8 所 示 . 
表 7.8 控制 量 x* 的 模糊 变量 国 值 表 














一 6 -5 -4 -3 -2 -1 9 + +2 +3 +i +5 +6 
PL 9 D 0 0 0 0 0 0 0 0 02 07 10 
PM 0 6 @ 0 人 0 0 0 02 .08 10 08 02 
ES 0 0 0 0 耻 0 0.1 0.3 10 0.8 01 O 昌 
Z 0 0 0 9 0 05 10 05 0 0 0 0 9 
NS 0 0 01 08 10 08 01 0 0 0 0 0 0 
NM 0.2 08 10 08 02 0 0 0 9 昌 0 0 0 
NL 1.0 0.7 0.2 9 0 0 0 0 人 D 0 0 
二 、 模 燃 控 制 规则 


总 结 操作 人 员 的 经 验 给 出 52 条 控制 规则 ,归纳 于 表 7. 9. 控制 规则 的 一 般 式 是 
je 一 已 and Ae 一 AB, ,then 2 一 [ 
一 112 一 1 2 7 一 27 
表 7.9 控制 规则 表 



































本 了 到 L NM NS NZ PPZ PS PM EBPL 

PL PL EM NM NM NM RNL RNEL 

PM PL PM NM NM NM 了 NS NS 
ES PEL 和 PM NS NS NS NS NM NL 
人 了 PL PPM PS 也 QZ NS NM NL 
NS PL PM PS PS PS PS NM NL 
RM ERFL PS PS PM PM NM MNL 
NL PL PL PRM PM 了 上 M NM NEL 

三 \ 求 模 籽 关 系 和 矩阵 及 和 模糊 控制 表 
由 于 论 域 是 离散 的 ,模糊 控制 规则 集 可 以 表示 为 -个 模糊 关系 纸 阵 及。 
有 一 员 ，( 杞 XAB5)X 卫 《7.3.1 


可 见 ,及 是 一 个 (14X13)X13 的 大 矩阵 , 占 2366 个 内 存单 元 . 

算出 尺 以 后 ,我 们 可 以 对 。 和 Ae" 设 不 同 的 值 ,例如 Az" 一 一 6,ae* 一 一 6, 将 它们 看 成 是 模糊 
单 点 ,这 时 的 输入 是 模糊 矢量 可 一 口 ,0,…,0 了 ,可 求 出 输出 模糊 矢量 玉 : 

了 一 (CE XAB') 。 惟 《7. 3.2) 

这 里 ( 殖 XAB ) 是 一 个 14X13 的 矩阵 ,将 其 按 行 排 成 矢量 ,再 去 与 及 合成 . 由 于 (到 XAB") 此 
时 只 有 第 一 个 元 素 为 1, 其 他 元 素 皆 为 0,Ur 即 是 R 的 第 一 行 . [中 隶属 度 最 大 对 应 的 we 即 为 
此 时 的 输出 用 同样 的 方法 ,对 每 对 输 人 er ,Aey 都 可 求 出 要 应 的 输 出 zx ,将 它们 整理 成 模 炎 
控制 表 , 如 表 ?7. 10 所 示 . 
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胡 7- 10 模糊 控制 查询 囊 




















辣 
-6 -5 -4 -3 -2 -ll -0 +0 + + +3 + +5 十 6 
一 6| +6 +5 +6 十 5 十 3 十 3 十 3 十 3 十 2 十 1 @ 0 0 D 
-5|+5 +5 +5 +5 +3 + +3 +3 +2 二 1 日 0 0 0 
一 4 +6 +5 +6 +5 +3 +3 + +3 +2 +1 @ 0 0 9 
-3|+5 +5 +5 +5 + + + + + -L -1 -1 -1 1 
一 ?| 十 6 十 5 十 6 十 5 十 3 十 3 十 1 1 昌 器 一 2 一 3 一 3 一 3 
-1 +6 +5 +6 +5 +3 +3 +1 0 日 -2 一 2 -3 -3 一 3 
Ac*| ol+6 +5 +6 +5 +3 二 il 0 0 -1 -3 -5 -6 -5 一 
十 | +3 +3 十 3 十 2 9 D 0 -1 -3 -3 -5 -6 -5 一 
+2| +3 +3 +3 +1 -1 -1 -:? -3 -5 -6 -5 一 6 
十 3 +L 二 1 +1 0 D co- ii- 2 2 5 一 5 5 5 
寸 | 0 0 -1 -L -2 -3 -3 -3 -3 -5 -6 -5 一 
+5| 0 0 9 -1 -L -2? -3 -3 -3 -3 -5 -5 -5 一 5 
十 6 昌 站 自 一 1 一 上 一 一 3 一 3 一 3 一 3 一 5 一 5 -5 一 6 
四 、 实 时 控制 


控制 表 可 离线 算出 ,在 实时 控制 时 得 到 “和 Ac 后 , 先 变换 成 离散 芋 ”和 Ae" , 查 表 得 到 
zx ， 再 求 出 真正 的 连续 控制 量 ww、 

以 上 设计 的 模糊 控制 器 已 成 功 地 用 于 还 原 炉 的 温 氏 控制 ,取得 了 很 好 的 控制 效果 . 光度 控 
制 的 上 升 时 间 短 , 超 调 量 小 ,控制 性 能 稳定 ,对 环境 变化 不 敏感 , 乔 且 算法 非常 简单 ,执行 快 ,用 
从 位 的 征 民 机 即 可 实时 控制 . 


8$7.4 模糊 控制 规则 的 调整 


由 于 模糊 控制 理论 仍 不 完备 ,加 上 模 风 系 统 的 复杂 性 ! 大 们 总 结 不 出 完整 的 经 验 来 ,这 样 
就 使 得 模糊 控制 有 时 显得 很 粗糙 . 另外 ,即使 准 贿 规则 很 完善 ,但 由 于 过 程 在 不 断 变 化 ,总 是 按 
原来 的 规则 进行 控制 ,所 得 结果 可 能 也 与 实际 不 符 . 因此 大 们 设计 出 这 样 的 控制 器 , 它 能 在 运 
行 中 自动 地 修改 、 完 善 和 调整 控制 规则 ,使 系统 性 能 不 断 改善 ,从 而 达到 预期 的 效果 


7.4.1 带 有 修正 因子 的 模糊 控制 器 


设 e 为 误差 ,ze "为 误差 变化 率 ,zx " 是 控制 重 . 它们 的 模 烂 变量 的 可 取 为 {PL( 正 大 ),PM 
(正中 ,PS( 正 小 ),ZK 零 ) ,NS( 负 小 ),NM( 负 中 ),NL( 负 大 )}, 并 且 用 数值 分 级 定义 为 { 十 3， 
十 2, 十 1,0, 一 1, 一 2, 一 3}. 

于 是 ,一 个 最 简单 的 控制 表 可 用 表 7. 11 来 概括 - 
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于 7,11 最 简单 的 控制 规则 形 

















阿 

一 3 一 2 一 1 0 1 2 3 

一 3 一 3 一 3 一 2 一 2 一 一 了 

一 2 一 3 一 2 一 2 一 1 一 1 和 工 

一 1 一 2 一 2 一 1 一 1 0 1 工 

， 0 一 2 一 1 一 0 1 1 2 

工 一 工 一 1 站 1 工 允 

2 一 1 站 1 工 2 公 2 

3 D 工 】 2 3 3 

表 ?7.11 构造 规则 可 用 下 式 表达 : 

ao 一 (一 ) 7.4.1) 


设 4a) 表 示 一 个 与 同 号 而 其 绝对 值 大 于 或 等 于 |c| 的 最 小 整数 . 例如 :(0) 一 0,《0.5) 一 
1 一 0.5) 一 一 1. 现在 ,给 出 带 修正 因子 的 控制 规则 : 
了 一 (ae 十 (1 一 oz》 (7.4.2) 
其 中 = 在 [0,1] 区 间 取 值 . 当 一 0.5 时 得 到 的 控制 规则 表 就 是 表 7. 11. 
下 而 给 出 当 一 0. 7 时 的 控制 规则 表 7. 12 与 "一 0. 2 时 控制 规则 表 7. 13. 
并 7.12 a=0.? 时 的 控制 规则 表 
































下 二 3 一 一 1 0 1 2 3 

一 3 一 3 一 3 一 2 一 2 一 2 一 2 一 1 

一 2 一 2 一 2 一 2 一 1 一 1 一 ! 一 1 
一 1 一 2 一 1 一 1 一 1 0 9 日 
2 0 一 -1 0 0 0 1 1 
了 0 0 0 1 1 2 
2 1 工 1 1 2 2 2 
3 工 2 2 2 2 3 3 

阳 7.13 < 一个 2 时 的 控制 规则 胡 

ea - ， 

3 二 5 二 3 -1 0 工 2 
一 3 一 3 一 2 一 一 1 0 工 2 

2 一 3 一 2 一 0 9 1 2 
一 一 3 一 2 一 1 日 1 1 2 
站 但 一 2 一 2 一 1 0 工 2 2 
1 一 2 一 ! 一 0 1 2 3 
2 一 2 一 1 0 0 1 2 3 
了 一 1 一 ! 0 1 1 2 3 





通过 表 7. 11, 表 ?7. 12, 表 7. 13, 可 以 看 出 ,通过 调整 系数 ,可 以 得 到 不 同 的 控制 规则 ,用 w 
作为 调解 误差 及 误差 变化 率 的 权重 是 很 符合 人 们 进行 控制 活动 的 思维 特点 的 

这 种 方法 昌 然 能 调整 控制 规则 ,但 e 一 经 确定 ,误差 及 误差 变化 率 的 权重 比例 也 就 确定 
了 . 可 是 控制 系统 在 不 同 的 状态 下 ,对 误差 与 误差 变化 率 的 权重 要 求 是 不 同 的 . 当 误 差 较 大 时 ， 
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控制 系统 的 主要 任务 是 消除 误差 ,这 时 误差 的 权重 应 占 较 大 比例 ,反之 当 误差 较 小 时 ,为 了 使 
系统 尽快 稳定 , 则 误差 变化 率 占 主要 地 位 ,站 增 大 其 权重 . 基于 上 述 想 法 ,人 位 提出 了 在 不 同 的 
状态 下 用 因子 调整 控制 规则 . 控制 规则 可 由 下 二 式 给 出 : 








本 4oe 十 人 1 一 gt 扩 )， 当 e 一 士 140 3) 
(aze" 十 (1 一 az)p )》，。 当 e 一 士 2, 士 3 
式 中 1>> 吧 产 o >>0- 
《aoer 十 (1 一 co) 》， 当 e 一 0 
本 (aie" 十 人 1 一 aa)z》， 当 e 一 士 1 《7 二 
《ase' 十 (1 一 ao)8》， 当 e 一 十 2 
《eae" 十 (1 一 as)t》， 当 e” 一 士 3 


式 中 1>>o 关 we 关 m 关 co>>0- 
7.4.2 自 适 应 模糊 控制 器 


人 们 和 希望 系统 能 在 运行 中 自动 地 修改 ,调整 和 完善 模糊 控 甬 规则 ,从 而 使 系统 的 性 能 不 断 
改善 ,直到 系统 的 输出 特性 达到 预定 的 精度 为 止 , 这 就 是 所 谓 的 自 适应 模糊 控制 系统 . 

自 适 应 模糊 控制 器 是 在 简单 模糊 控制 器 的 基础 上 ,增加 了 三 个 功能 块 而 构成 的 一 种 模糊 控制 
器 ,其 结构 如 图 7. 5 所 示 - 图 中 上 面 的 号 线 框 内 的 三 个 功能 块 即 为 增加 的 部 分 ,它们 分 别 是 。 





























7.6 自 适 应 模糊 控制 器 的 结构 


一 \ 性 能 测量 

用 于 测量 实际 输出 特性 与 希望 特性 的 向 差 ,以 便 为 控制 规 刚 的 修正 提供 信息 , 即 确定 输出 
响应 的 校正 量 已. 

在 模糊 控制 器 中 (一 般 指 二 维 ) ,通常 选 “偏差 ?和 “偏差 变化 率 ” 作 为 两 个 参量 ,用 以 衡量 输 
出 特性 的 偏离 情况 . 因此 ,可 以 根据 这 两 个 参数 的 采样 值 e(aT? 和 *(aT) 计 算出 对 输出 特性 所 
需要 的 校正 量 p(nT) ,并 且 可 以 采用 模糊 集合 论 的 方法 益 结 出 一 套 性 能 测量 规则 . 

类 似 子 简单 模糊 控制 必 的 控制 麦 ,校正 表 也 可 以 模 据 性 能 测量 规则 来 确定 . 例如 ,将 “ 偏 
郑 "“ 偏 差 变化 率 " 和 “校正 便 " 的 分 级 定义 如 下 : 
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ezTD 一 6 一 5 一 1 一 0, 十 0, 十 1 十 5 十 6 
*(naT7:( 一 6, 一 5， 1,0, 十 1 十 5 十 6》 
坟 (zT) :一 6 一 5 一 L0, 十 1,…， 十 5 十 6} 
表 7- 14 是 一 个 性 能 校正 表 . 例如 , 表 中 第 一 行 偏差 为 负 , 且 在 最 大 (一 6) 级 上 , 当 偏差 变化 
率 是 朝向 设 定点 时 ,其 发 展 趋 势 是 逐 新 减少 ,因此 不 必 加 校正 量 ; 当 偏差 变化 率 是 离开 设 定点 
时 , 均 施 加 (十 6) 级 的 校正 量 ,抑制 偏差 的 进一步 变化 并 使 其 迅速 减 小 ,以 便 使 系统 输出 特性 向 
期 望 的 方向 变化 . 








表 7.14 性 能 测量 校正 表 
趋向 设 定点 离开 设 定点 
-| -5| -| -| -|-: 















































隐 宣 内 
上 
9 


陪 富 
二 
二 
ooooooooooooo 


-2 2 -3 6 
0 0 0 -6 -6 -6 -6 -6 -6 -6 
从 表 ?7- 14 中 可 以 看 出 ,离开 设 定点 越 远 ,需要 的 输出 校正 就 越 大 . 由 于 设 定点 是 正 、 负 对 
称 的 ,所 以 负 偏差 时 输出 校正 需 增加 ,反之 输出 校正 需 焉 小. 
如 果 用 区 表示 校正 ,那么 表 7. 14 可 用 下 式 表示 , 即 
六 CT) 一 了 开 [eCnT) ,eczaT)] 《7. 4. 5》 

















二 、 控 制 量 的 校正 
得 到 了 输出 性 能 的 校正 量 p(aT), 还 必须 利用 它 计 算出 对 被 控 对 象 的 输入 其 的 校正 量 
r(zT) 才 能 使 下 一 次 的 输出 特性 得 以 改变 ,这 牵涉 到 系统 的 输 和 人 与 输出 之 间 关 系 ,例如 一 个 两 
输入 两 输出 的 系统 , 设 过 程 的 状态 方程 为 
以 一 EX 也 ,y) (7.4 6) 
Y= GD 了 《7.4.7? 
其 中 避 ,Y 为 输入 ,对 于 较 小 的 输入 变化 有 


3 
[>]= zc acj|lav (7.4.8) 
ar 


如 果 输 人 变化 是 AU,AV , 则 经 过 一 个 采样 周期 了 后 ,引起 输出 变化 为 


了 区 
[全 ]> [7 m[sy]= af2y] (7.4 9 


SF BF 
BU ayVY|ratr 
的 
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其 中 了 是 雅 可 比 和 阵 ,上 式 确定 了 输入 变化 ALNAYV 与 输出 变化 AX、AY 之 间 关 系 的 一 个 增 量 模型 ， 
可 把 甜 阵 M 称 为 过 程 的 增 量 模型 . 如 果 要 求 的 输出 校正 是 妃 (z` 乌 (naI) ,那么 必须 有 输 人 基 校 正 
三 (2T ,它们 可 由 上 面 的 增 量 模型 求 得 如 下 


[em 和 [er] 


三 、 控 制 规则 的 校正 
对 控制 量 的 校正 通过 修改 控制 规则 来 实现 . 控制 规则 的 校正 过 程 是 根据 所 需要 的 输入 校 
正 量 ~(= 了 来 进行 的 . 现在 以 单 输入 单 输出 过 程 加 以 说 明 . 
设 系统 有 一 定 的 滞后 , 设 e(aT 一 mmT .e(nT 一 天 T) waT 一 mm 7 分 别 表示 原来 的 偏差 、 偏 
差 变化 率 和 控制 量 . 面 要 求 校 正 后 控制 量 是 wxCxT 一 mT) 十 r(zT) ,将 这 些 量 进行 模糊 化 ， 
忆 (Cr 一 mmT) 一 下 [eaT 一 zzT)] 
CT 一 zeT) = FTe(oT 一 ?2T) 
UnT 一 maT) 一 下 [x(zT 一 mmT)] 
VY(rnT 一 mT) 一 下 [uc 一 mmT) 十 天 下 河 


《7. 4.11) 


原来 的 控制 规则 为 
于 2 一 吾 (z2 工 一 z2T) 
and 写 一 CC2T 一 关 三 ) 
then zx 一 局 (2T 一 姑 T) 
现在 的 控制 规则 为 
让 e 一 丽 nT 一 天 
and 一 CC2T 一 m2T) 
then u 一 YCnT 一 m2T) 
将 上 面 两 式 写成 关系 矩阵 为 


亚 (rT) 一 交 (aT 一 mT) XCT 一 mT) XBD(rT 一 mT) 
RaT) 一 开 (mT 一 mT) XCOT 一 mT)XYVGOT 一 mpT) 
用 语句 形式 表示 新 的 校正 关系 矩阵 为 
灵 (2aT 十 T) 一 {RCoT) 但 不 是 到 CnT)} 要 刚玉 (zeT) (7.4 和 13) 
其 中 ,Ca 是 现在 的 控制 关 系 矩阵， BCzT 十 IT) 是 校正 后 控制 器 新 的 关系 矩阵 . 上 式 也 可 写 
成 : 


《7. 4- 12) 


有 GaT 十 T) 一 {RCT) A 尽 CT V BCaT) 《7.4. 14) 
这 就 是 构成 修正 控制 医 的 一 般 方 法 . 由 它 就 可 以 各 据 测 得 的 偏差 gCzT) .偏差 变化 率 zs(nTy 与 
RnT 十 厂 合 成 , 求 得 控制 量 模糊 集 . 然后 经 过 解 模 燃 决 策 后 ,就 可 得 到 确定 的 控制 量 ,加 到 系 
统 中 去 ,完成 了 一 个 控制 动作 - 
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$8.1 神经 网 络 与 模糊 系统 


3.1.1 神经 网 络 与 模糊 系统 的 结合 是 发 展 的 必然 


人 脑 实际 上 是 神经 网 络 与 模糊 系统 有 机 的 自然 结合 . 从 物质 结构 上 看, 人 脑 是 一 种 典型 的 
生物 神经 元 网 络 , 人 脑 的 思维 活动 和 智能 行为 是 大 量 的 神经 元 协 岂 运作 的 宏观 表现 ;而 从 主要 
的 功能 角度 看 ,人 脑 又 是 个 模 烂 系统 . 人 工 神 经 网 络 是 对 人 脑 的 结构 和 工作 方式 的 近似 和 简 
化 : 丙 人 工 模糊 系统 是 以 模糊 数学 为 基础 的 ,在 较 高 层次 上 对 俯 思维 的 模糊 性 方面 进行 工程 
化 的 模拟 - : 

神经 网 络 和 模糊 系统 是 当前 两 种 主要 的 智能 技术 ,它们 都 能 模拟 人 的 智能 行为 ,不 需要 精 
确 的 数学 模型 ,能够 解决 传统 苇 术 无 法 解决 的 许多 复杂 的 ,不 确定 性 的 , 非 线性 的 问题 ,而 且 易 
于 用 硬件 或 软件 来 实现 , 神经 网 络 和 模糊 系统 又 具有 各 自 的 特点 . 模糊 系统 能 够 直接 地 表示 逮 
辑 , 适 于 直接 的 或 高 级 的 知识 表达 ,擅长 利用 人 的 经 验 性 知识 ,但 是 模糊 规则 的 自动 提取 和 模 
糊 变 量 隶 属 度 阔 数 的 自动 生成 和 优化 ,一 直 是 末 拢 模 贿 信 息 处 理 技术 进一步 推广 的 难 是 . 现 有 
模糊 系统 方法 缺乏 使 系统 具备 学 习 能 力 的 手段 ,而 这 正 是 神经 网 络 的 优势 所 在 . 另 一 方面 , 神 
经 网 络 虽然 可 以 通过 学 习 获 得 用 数据 表达 的 知识 ,但 这 种 知识 在 神经 网 络 中 是 用 权 信 、 阐 值 的 
形式 耻 含 表达 的 , 因 面 难以 理解 - 

随 着 对 神经 网 络 和 模糊 系统 研究 的 深 人 ,两 个 领域 问 相 互 独立 的 关系 逐渐 改变 . 一 个 领域 
的 缺乏 可 以 通过 另 一 个 领域 的 优势 来 补偿 , 作 到 优势 互补 . 将 槛 糊 技 术 引 入 神经 两 络 , 可 以 大 
大 丘 宽 神经 网 络 的 处 理 信息 的 范围 和 能 力 ,使 其 不 仅 能 处 理 精确 信息 ,也 能 处 理 模糊 信息 ,不 
仅 能 实现 精确 性 联想 映射 ,也 可 以 实现 不 精确 性 联想 及 上 映射 , 即 弄 贿 联想 贞 射 . 采用 神经 网 络 
来 进行 模糊 信息 处 理 , 则 使 得 模糊 规则 的 自动 提取 和 隶属 度 本 数 的 自动 优化 有 训 能 得 以 解决 ， 
从而 使 模糊 系统 成 为 一 种 自 适 应 的 系统 . 将 神经 网 络 和 模糊 系统 进行 结合 ,即将 符号 逻辑 推理 
方法 与 联接 机 制 方法 进行 结合 ,将 数值 逻辑 方法 和 裤 糊 逻辑 方法 进行 结合 ,其 优势 将 远 远 高 于 
单项 研究 . 

通过 比较 神经 网 络 与 模糊 系统 可 以 发 现 ,由 于 神经 元 的 赋值 机 数 为 S 型 ,使 神经 元 的 输出 
为 [0,]] 区 域 上 的 连续 值 , 它 与 模糊 系统 的 求 属 度 画 数 是 相似 的 . 另外 ,在 模糊 推理 中 ,规则 前 
提 部 分 的 极 小 运算 相当 于 神经 元 输 人 信和 号 与 加 权 系 数 的 丧 积 ,由 推理 规则 的 结论 部 分 获得 最 
后 推理 信 的 极 大 运算 相当 于 神经 元 内 的 输 人 信号 求 和 . 这 些 正 是 神经 岗 络 与 模糊 系统 相 结合 
的 理论 基础 . 

神经 网 络 与 模糊 系统 集成 的 系统 ,将 兼 有 二 者 之 长 , 既 有 具有 神经 网 络 的 学 习 能 力 . 优 化 能 
力 和 连接 式 结构 ,又 具有 模糊 系统 的 类 似 于 人 类 思维 方式 的 计 then 规则 ,并 易于 嵌 人 专家 知 
识 .二 者 的 结合 是 发 展 的 必然 。 












































第 八 童 ”模糊 神经 网 络 与 杭 经 模糊 系统 377。 





8.1.2 神经 网 络 与 模糊 系统 的 结合 方式 


将 神经 网 络 与 模糊 系统 相 结合 ,可 以 将 两 者 的 优势 集成 在 一 起 ,使 得 神经 网 络 或 模糊 系统 
在 保持 原 有 功能 的 基础 上 扩充 其 功能 , 既 具有 神经 网 络 的 准确 拟 合 能 力 秋 学 习 能 力 ,也 能 像 模 
糊 模 型 那样 ,易于 被 人 们 所 理解 . 人 们 可 以 用 模糊 模型 将 专家 知识 转换 到 神经 网 络 中 ,然后 ,这 
个 神经 网 络 应 用 于 一 个 目标 系统 ,在 运行 中 通过 学 习 , 来 提高 模型 的 准确 性 . 经 过 学 习 之 后 ,就 
可 以 将 神经 网 络 的 参数 转换 到 模糊 模型 中 ,帮助 解释 神经 网 络 中 存 情 的 知识 .在 开始 时 ,有 目标 
系统 的 模型 是 基于 模糊 规则 而 构造 的 ,比较 粗糙 ,经 过 这 一 个 合作 系统 的 学 习 后 ,目标 系统 的 
模型 就 可 以 得 到 进一步 改善 . 

神经 网 络 与 模糊 系统 的 合作 系统 的 结构 图 如 图 8. 1 所 示 . 
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图 8. 上 栅 经 网 络 与 模糊 系统 的 合作 系统 的 结构 图 
这 个 系统 的 构造 和 工作 过 程 简 述 如 下 : 
《1 根据 专家 对 目标 系统 的 知识 ,得 到 模糊 系统 的 素 属 度 和 模糊 规则 ,从 而 可 以 构造 出 一 


个 模 精 系 统 ; 

(2 根据 模 狙 系统 确定 神经 网 络 的 连接 方式 与 所 有 的 连接 权 值 ; 

(3) 将 已 经 确定 的 神经 网 络 应 用 于 实际 的 目标 系统 ;、 、 

54) 从 目标 系统 的 传感器 取得 数据 ,利用 所 得 数据 对 神经 网 络 进行 训练 ,学习 ,以 提高 它 的 
准确 性 ， 

《5) 将 经 过 学 习 后 的 神经 网 络 的 连接 权 信 的 变化 加 以 解释 ,从 而 增强 对 神经 网 络 内 部 过 程 
的 理解 . 

神经 网 络 与 模糊 系统 的 结合 大 体 上 分 为 以 二 两 种 方式 ， 

(1) 模 糊 神 经 网 络 :这 是 模糊 系统 向 神经 网 络 的 结合 ,把 模糊 远 辑 插 人 到 神经 网 络 中 ,使 神 
经 网 络 具 有 逻辑 推理 功能 ,利用 模糊 多 辑 所 高 神经 网 络 的 学 习 速度 . 模糊 神经 网 络 保留 了 神经 
网 络 的 基本 性 质 与 结构 ,只 是 将 其 中 某 些 元 件 " 模 榈 化 ”, 其 本 质 上 还 是 神经 网 络 , 故 它 主要 应 
用 于 模式 识别 领域 

(2) 神 经 模糊 系统 :这 是 神经 网 络 向 模糊 系统 的 结合 ,把 神经 网 络 的 学 习 功 能 赋予 模 牌 系 
统 ,使 模 栏 系统 能 自动 从 学 习 中 获取 模糊 规则 . 在 神经 模糊 系统 中 ,神经 网 络 用 于 对 模 贿 集合 
扩大 的 数值 进行 处 理 ,譬如 素 属 度 函 数 的 选 到 和 模糊 集合 (用 作 模 糊 规 则 ) 之 辣 映 射 实现 . 因为 
神经 模糊 系统 本 质 上 还 是 模糊 逻辑 系统 ,所 以 它 主要 肯 在 控制 领域 . 

将 神经 网 络 与 模糊 系统 相 结 食 的 尝试 主要 有 以 下 几 个 方面 :模糊 聚 类 网 络 .基于 模糊 推理 的 神 
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经 网 络 \ 自 适应 模 棚 控制 系统 .适应 性 模糊 联想 记忆 系统 和 基于 神经 网 络 的 模糊 系统 建 模 等 
38.2 模糊 神经 网 络 


把 模 网 逻辑 技术 引 和 人 神经 网 络 形成 的 系统 称 为 模糊 神经 网 络 (Fuzzy Neural Network, 简 
称 为 FNN)-FENN 事实 上 是 模糊 化 的 神经 网 络 , 即 神经 网 络 的 某 些 元 件 ( 输 入 .输出 .转移 函 
数 . 权 值 .学 习 算法 等 ) 被 模糊 化 . 


8.2.1 模糊 神经 网 络 分 类 器 


传统 的 多 层 感 知 器 用 作 分 类 器 时 , 某 一 数据 只 能 属于 某 一 类 ,而 不 能 同时 属于 几 类 . 模糊 
神经 网 络 就 是 将 模糊 的 概念 结合 于 网 络 的 各 层 中 , 它 的 输入 和 输出 都 是 具有 语义 性 质 的 素 属 
度 , 可 以 利用 基于 梯度 下 降 原理 的 逆向 传播 算法 来 修改 其 连接 权 值 . 在 应 用 中 ,分 为 有 导师 的 
学 习 和 未 知 数据 的 分 类 两 个 阶段 . 

下 倒是 军事 上 应 用 两 层 网 络 来 分 出 坦克 车 与 装甲 车 . 结构 如 图 8. 2 所 示 . 22 个 输入 分 别 
表示 22 个 特征 ,其 中 11 个 是 用 电视 播 像 机 摄 得 的 图 像 ,为 外 形 特征 ;另外 11 个 为 红外 图 像 特 
征 . 所 有 特征 中 ,有 8 个 是 统计 特征 ,其 他 是 句法 特征 . 三 个 输出 分 别 表示 坦克 车 .装甲 车 和 假 
目标 , 通过 > 模型 的 学 习 , 从 22 个 特征 中 只 选 出 了 14 个 特征 ,其 他 都 被 简化 了 ,而 且 每 次 学 习 
都 采用 不 同 的 75 多 的 样本 ,其 他 25 多 样本 作为 测试 ,其 结果 是 相同 的 . 这 种 简化 后 的 网 络 其 识 
别 率 仍然 很 高 . 














坦克 装 中 车 《” 假 目 标 





图 8.2 两 层 分 类 网 络 

如 果 把 两 层 改 为 多 层 ,学习 结 果 如 图 8. 3 所 示 , 经 过 7 模型 学 习 后 ,网 络 层次 分 明 , 原 有 
的 22 个 输入 神经 元 ,经 过 多 层 学 习 后 ,只 赠 下 14 个 ,与 两 层 网 络 的 结果 相似 ,其 中 8 个 为 电 
视 的 图 像 特征 ,另外 6 个 为 红外 图 像 特征 . 而 第 二 层 神经 元 变 成 了 8 个 ,每 个 神经 元 只 联系 
一 类 ,如 第 二 层 中 第 一 个 神经 元 只 与 电视 图 像 的 统计 特征 相 联 , 第 二 个 只 与 电视 图 像 的 句 
法 特征 相 联 # 第 三 第 四 神经 元 分 别 只 与 红外 图 像 的 统计 和 句法 特征 相 联 , 而 且 前 四 个 神经 
元 只 和 坦克 有 关 ,而 后 四 个 神经 元 只 与 装甲 车 有 关 . 在 第 三 层 中 只 有 四 个 神经 元 ,第 三 层 中 
第 一 个 神经 元 只 与 电视 图 像 有 关 的 特征 相 联 , 输 出 只 与 坦克 有 关 ,第 二 个 神经 元 只 与 红外 
图 像 有 关 的 特征 相 联 ,输出 也 只 与 坦克 有 关 ……' 学 习 后 的 这 种 网 络 , 对 每 一 个 特征 都 有 一 
定 的 评价 ,就 是 它们 在 决策 中 的 作用 和 地 位 清楚 ,因此 对 求解 问题 的 思路 提供 了 十 分 重要 
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的 依据 ,在 这 个 例子 中 ,可 以 得 到 电视 图 像 的 统计 特征 比 句法 特征 重要 ,而 红外 图 像 中 的 总 
体 特 征 则 比较 重要 . 








电视 红外 


图 8,3 多 层 分 类 网 络 
在 模糊 内 统 与 神经 网 络 结合 的 多 层 网 络 中 ,学 习 的 结果 是 使 网 络 的 意义 层次 消 楚 ,简化 后 
多 层 决 策 加 络 的 识别 率 能 超过 传统 方法 ,而 且 又 克服 了 单纯 的 模糊 系 统 精度 问题 ,使 其 效果 比 
一 般 只 用 单纯 的 神经 网 络 或 者 模糊 系统 要 好 - 


8. 2. 2 基于 模 奈 推理 的 神经 网 络 


图 8.4 给 出 了 一 种 基于 模 燃 推理 的 神经 网 络 模型 . 图 中 X 为 输入 信和 叶 ,z 为 输出 信号 ， 
了 为 教师 信号 ,白色 节 点 为 线性 节点 ,黑色 节点 为 Sigmoid 型 节点 . 该 系统 共 分 为 五 层 :A 层 
是 输 和 人 层 , 直 接 将 输入 值 传送 至 下 一 层 . B 层 是 输入 语言 变量 层 ,输出 为 隶属 度 函 数 . C 层 为 
规则 层 ,实现 模 精 规 册 前 碍 条 件 的 匹配 ,执行 模糊 “与 "操作 - D 层 是 输出 语言 变量 层 , 热 行 
模糊 求 和 操作 - 正 层 为 解 模 灶 判 决 层 ,产生 输出 . 可 以 用 有 指导 的 学 习 方 法 训练 此 类 模 燃 神 
经 网 络 . 





图 8.4 基于 模糊 推理 的 神经 网 络 模型 
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日 本 的 Hiroyuki Okada 等 人 提出 的 用 于 金融 风险 评估 的 模 烛 神 经 网 络 就 是 一 种 基于 模 
糊 推理 的 神经 网 络 , 其 网 络 模型 如 图 8. 5 所 示 . 网 络 也 由 Sigmoid 型 节点 和 线性 节点 构成 . 用 
一 个 Sigmoid 型 神经 元 表示 S 型 或 之 型 隶属 度 函 数 ,用 两 个 Sigmoid 型 神经 元 实现 钟 形 来 属 
度 函 数 . 它 通过 领域 专家 的 知识 建立 模糊 模型 ,确定 网 络 中 节点 的 连接 及 其 权利 的 初始 值 . 推 
理 结果 用 重心 法 进行 非 模糊 化 得 到 精确 的 评估 结果 . 并 可 以 利用 应 用 系统 的 反馈 信息 对 网 络 


进行 训练 . 
中。 


























Rulen 


图 8-5 人 金融 克 险 评估 的 模糊 神经 网 络 模型 
三 Sidrnoid 还 神经 元 ” 怠 线 性 神经 元 


这 种 网 络 的 主要 特点 是 用 模 奈 规则 确定 神经 网 络 结构 - 其 模糊 规则 须 由 领域 专家 给 出 , 因 
此 能 够 充分 利用 领域 专家 的 知识 ,网 络 结构 简明 ,模糊 规则 易于 理解 ,而 且 网 络 具有 学 习 能 力 . 
但 网 络 互 连结 构 及 权 值 的 确定 依赖 于 领域 专家 的 知识 , 自 适 应 性 差 . 


8.2.3 基于 广义 模糊 加 权 型 推理 法 的 神经 网 络 


在 6, 3.5 节 中 已 对 模糊 加 权 型 推理 法 的 推理 形式 进行 了 改进 ,提出 了 广义 模糊 加 权 型 推 
理 法 ,现在 在 此 基础 上 建立 一 种 模糊 神经 网 络 . 

一 、 隶 属 诬 函 数 的 确定 

首先 确定 输 人 /输出 变量 模糊 于 集 的 个 数 . 从 理论 上 讲 ,在 相同 论 域 上 ,参考 模糊 于 集 数 越 多 ， 
越 接 进 真 正 的 最 优 FNN ,但 计算 量 大 ,所 需 内 存 多 ,这 就 需 在 最 优 的 精确 性 和 复杂 性 之 间 进 行 权 
衡 . 可 以 证 明 , 增 加 模糊 子 集 到 使 得 复杂 程度 的 增加 远大 于 精确 度 的 增加 . 

另外 ,通过 计算 机 模拟 实验 发 现 , 素 属 度 函 数 的 形状 微妙 地 影响 着 整个 模糊 系统 . 为 了 简化 计 
算 ,很 多 模 夏 远 辑 控 制 的 隶属 旗 函 数 曲线 取 三 角形 、 榜 形 . 三 角形 隶属 度 函 数 的 优点 是 函数 简单 , 易 
于 讨 算 , 但 是 结果 不 够 平滑 , 它 不 是 最 佳 函数 ,只 是 一 种 近似 . 实际 上 ,根据 模 厅 统 计 方法 得 到 的 来 属 
度 函数 通常 都 是 钟 形 的 ,其 结果 比较 平 希 ,但 函数 比较 复杂 ,计算 重大. 

我 们 试图 在 精确 庆 和 复杂 户 之 间 找 到 一 个 折衷 方案 . 用 喊 少 模糊 于 集 数 来 降低 系统 复杂 性 ,用 
钟 形 未 属 度 函 数 来 提高 系统 精确 度 . 为 此 ,规定 输 人 变量 的 初始 来 属 度 函 数 如 下 ， 

big(z)》 一 Sigmoidka kz 一 房 )》 一 1/ 一 exp( 一 aakz 一 六 )7)》 〔《8. 2. 1) 

mid(z) 一 exp( 一 (z 一 记 / 咏 )) 《8.2. 2) 

small(z) 一 1 一 SigmoidCo (zz 一 房 )) 一 1 17(1L 一 exp( 一 az 一 房 )))》 (8.2.3) 
其 中 mo yo, 记 , ER. 

例如 : 当 0<z<1.0 时 ,可 是 正规 定 z 的 初始 求 属 度 函 甫 如 图 8. 6 所 示 ， 
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妫 3.6 输入 工 的 隶属 度 函 数 
二 .网络 结构 的 确定 
在 广义 模糊 加 权 型 推理 法 的 基础 之 上 建立 的 一 种 模糊 神经 网 络 称 为 模糊 加 权 神 经 网 络 
(Weighted-Fuzzy Neural Network ,简称 WFNN) ,结构 如 图 8. 7 所 示 ， 
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图 8.7 基于 模糊 加 权 型 推理 法 的 神经 网 络 

图 中 各 层 的 运算 如 下 所 示 ， 
人 A 层 :0 一 1=X 
也 层 :O = 天 一 厂 R 一 蕊 一 机 
C 层 :DO 一 SigmoidCW。XT) 或 

一 exp( 一 P/W。)2 或 

一 1 一 Sigmoid( 了 页 双 天) 
D 层 :Q= T[r， 
三 层 :O 一 SigmoidC > ( 工 X 人 本。) 
了 层 :Q= 思 (WVrx15Q 一 尺 开 
G 层 :0 一 /Pa 
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其 中 本 ,为 可 变 闪 值 , 克 ., 克 .和 本 ( 为 可 变 权 值 . 其 中 ,A 层 为 输入 层 ,B、C 层 实 现 输入 量 的 模 
类 化 ,D.E 层 实现 模糊 推理 规则 ,D 层 实 现 模糊 规则 前 提 的 “与 ?操作 ,例如 :输入 变量 的 模 精 
子 集 定义 为 {fsmall,mid,big} 时 ,第 一 个 节点 表示 于 Xi is small and Xs is small …then… ,第 二 
个 节点 表示 于 2 is small and Xs is mid …then…- 已 层 完 成 求 和 功能 , 列 出 规则 输出 .F、G 层 
用 "重心 法 ?实现 非 模 糊 化 操作 - 
由 于 上 述 模糊 神经 网 络 的 节点 和 权 值 可 以 用 隶属 度 函 数 和 模糊 规则 来 解释 ,因此 ,模糊 规 
则 的 抽取 和 求 属 度 函 数 的 改进 实质 上 就 是 寻找 合适 的 Wi 、W.、 多 .和 了 在 确定 初始 隶属 度 
函数 后 ,用 合适 的 神经 网 络 学 习 算 法 , 当 网 络 误差 小 于 给 定 值 时 , 便 可 以 从 模 燃 神 经 网 络 的 节 
点 和 权 值 参数 直接 写 出 模糊 规则 和 改进 的 来 属 度 函 数 ,用 训练 过 的 网 络 恒 可 以 进行 模 柳 控制 、 
模糊 识别 了 - 
三 、 在 天 气 预 报 中 的 应 用 
下 面 , 通 过 一 个 实际 的 天 气 预报 问题 来 验证 WFNN 网 络 模型 和 算法 的 有 效 性 . 问题 描述 如 
下 :由 于 受 各 种 条 从 影 响 , 天 气 是 复杂 多 变 的 , 面 且 气象 科学 的 许多 概念 也 都 是 模糊 概念 ,如 畏 / 
阴 、 旱 / 浅 等 . 因此 采用 模糊 模型 预报 天 气 是 非常 适宜 的 . 试 建立 天 气 预报 模糊 神经 网 络 模型 , 通 
过 对 天 津 市 历史 汛期 降水 量 的 学 习 , 对 天 津 市 未 来 的 汛期 降水 量 情况 进行 预报 . 
根据 天 津 气象 台 1952 一 1981 年 的 历史 资料 , 选 前 一 年 一 月 到 当年 二 月 的 西 太平 洋 海 温 距 
平和 欧 亚 地 区 500mb 月 平均 高 度 距 平 ,分 别 经 主 成 分 分 析 后 ,提取 的 第 一 个 主 成 分 作为 两 个 
预报 因子 ,与 其 对 应 的 降水 量 值 列 出 如 表 8. 1 所 示 . 
衣 8.1 天 津 市 1952 一 1981 年 气象 数据 
年 代 海 混 中 孚 (X4) 500 mb 高 度 距 平 (X2) 降水 景 CY)7 
了 1952 .73 一 5. 23 283 
953 一 2.03 5. 18 647 
1954 一 3.53 10. 23 731 
1955 一 3. 31 二 了 1 561 
1956 0. 53 一 2. 46 67 


2959? 2 33 7. 32 399 
1958 一 0. 32 一 10. 81 315 




















1978 站 ,49 22. 63 626 
1979 一 0.09 一 7. 32 22 
1980 0. 04 一 6. 92 318 
1981 0.66. 2.37 501 
以 模糊 神经 网 络 WWFNN 为 模型 ,以 海 湿 距 平 (Xi) 和 500 mb 高 度 距 平 (X: ) 为 输 和 人 ,降水 
量 (Y) 为 输出 ,输入 变量 定义 了 三 个 模糊 子 集 {small, mid,big} ,分 别 表示 小 .中 .大 ,隶属 度 函 
数 如 式 (8. 2. 1D)、(8.2.2)、8.2.3) 定 义 ,输出 变量 定义 了 五 个 模糊 子 集 { 鼠 ，， ,HE 
分 别 表 示 旱 、 偏 时 ,正常 、 偏 洲 . 洲 . 未 属 度 函 数 为 
再 ;Crz) 一 exp 一 (( 工 一 序 )Vas)2) 《8. 2. 4) 
输入 /输出 变量 束 属 度 函 数 曲 线 如 图 8. 8 所 示 . 
实验 采用 遗传 算法 训练 网 络 , 取 得 了 较为 满意 的 结果 . 将 网 络 可 变 阐 值 W,、 可 变 权 值 罗 .、 
鸡 。、Wr 作 为 基因 组 成 染色 体 . 每 一 条 染色 体 对 应 权 值 科 值 的 一 种 组 合 . 群体 中 第 条 染色 体 的 


适应 度 为 :SGD 一 1/ECGD ,其 中 ED 一 到 2 (0 一 站 ?为 染色 体 个 数 ,大 为 学 习 样 本 数 ,了 为 孝 


师 信 号 ,O 为 此 条 染色 体 所 对 应 的 网 络 的 输出 . 初始 群体 中 的 染色 体 数 选取 200, 以 适应 度 高 的 染 
色 体 被 选 作 父 染色 体 的 概率 大 为 原则 ,每 代 遗 传 操作 选取 100 对 桨 色 体 作为 父 染 色 体 , 交 叉 及 变 
异 操作 均 选 取 染 色 体 中 一 半数 目的 基因 ,变异 概率 为 0. 1, 变 异步 长 为 0.01. 训练 中 误差 曲线 如 
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图 8. 9 所 示 , 计算 公式 为 Error= 了 (0 一 TD 为 样本 数 ,O 为 网 络 的 实际 输出 ,了 T 为 期 望 输出 . 当 
网 络 输出 误差 小 于 给 定 值 后 进行 也 报 检验 . 
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图 8.8 输入 /输出 变量 隶属 度 画 数 则 线 
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图 8.9 网 线 误差 音 线 
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应 用 此 模 棚 神 经 网 络 模型 ,首先 对 1952 一 1973 年 进行 试 报 检验 ,然后 对 1973 一 1981 年 进 

行 预报 ,图 8, 19 为 输出 结果 ,其 中 1973 一 1981 为 预报 值 ,网 络 误差 在 允许 范围 之 内 ,可 见效 果 
相当 理想 .说明 所 建立 的 模糊 神经 网 络 模型 是 有 效 的 . 

800 











JI00 本 一 
1950 1955 1960 1965 1930 1975 1980 1985 


图 8. 10 ”天 气 预 报 输出 结果 
一 一 实测 值 ……… 天 测 值 


各 网 络 权 值 在 训练 前 后 的 变化 如 表 8. 2(a 一 归 所 示 . 
吕 8.2 各 网 络 权 值 在 训练 前 后 的 变化 















































TalWw 的 变化 
页 m Wu 全 Wu Wu 可 
学 习 前 2 0 一 2 10 0 一 1 
500 我 后 1. 85 ,23 一 1.7 .95 0.08 一 和 87 
1000 代 后 1.60 0.73 一 1.32 9.80 一 0%.06 一 包 61 
4000 代 后 0.72 0.52 一 1 27 9.30 1.57 一 9.51 
5000 代 后 0.79 0.55 一 0.45 9.25 1.75 一 8. 86 
(bj w- 的 变化 
wo 本 We 到 克 w 了 < 
学 习 醒 2 2 2 0.5 10 0.5 
500 代 后 1.91 1.95 2.07 .26 9.98 0.66 
1000 代 后 1. 65 1 71 1.77 -0. 9. 82 0.42 
4000 代 后 1. 97 0.28 1. 83 1.23 9. 45 人 84 
5000 代 后 2.40 0.29 2. 28 1.25 9.27 1.42 
【cjW 的 变化 
mm mW Te We 
学 习 章 180 320 460 600 740 
500 忽 后 于 7 292 459 616 759 
1000 代 后 111 255 435 592 744 
4000 和 代 后 83 334 477 541 839 
5000 代 后 51 301 495 478 | _ ars 
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{d) 研 .的 变化 

机 < 代数 (epochs) 。 代数 (epochs》 代数 (epochs) 
训 500 ”1000 4000 5000 站 500 1000 4000 5000 训 500 1000 4000 5000 
09 10 0.66 0.48 050| 30 |1324 092 084 118| 6 114 170 1.60 1.51 
0 0.77 0.67 0.43 0.37| 31 1.05 1.16 0.57 0.49| 61 1.32 1.29 0.86 0.87 
02 0.81 085 1.67 149| 32 |os8 099 199 220|1 6 |0o71 050 008 0.33 
03 0.89 1.02 0.20 一 0.0 叫 33 |080 086 010 066| 53 |o63 039 070 492 
0 1.06 083 0.79 075| 34 |668 047 001 010| 6 |o56 020 一 003 一 0.21 
1 0.74 0.63 1.27 1L40| 40 |o85 078 155 152| 7 |1o6 88 0.55 017 
11 0.73 0.59 0.32 054| 4 |1086 082 056 066| 7L1 |o96 086 1.08 1.18 
1 0.93 1.16 1.63 136| 42 |o093 088 080 090| 72 |1o88 0.79 0.11 1.19 
13 LI 119 136 169| 4 |089 085 022 050| 373 |osg 080 136 1.60 
于 4 121 0.80 0.08 一 0 4 |o87 070 119 132| 94 |o82 064 069 0.85 
30 0.63 0.2 059 0.15| 50 |o79 058 1.48 188| 80 |os6 o72 0.30 0.65 
21 0.63 0.34 一 0.35 一 0.66| 51 |085 078 0.02 047| 8 |o.86 062 0.47 0.10 
22 0.83 0.61 0.19 一 0k 53 |o94 077 031 002| 82 |o85 0.63 一 0.19 一 0.34 
23 1.28 128 0.53 085| 53 |1038 084 0.08 012| 83 |o92 091 091 0.73 
24 1-39 162 224 2.09| 54 |1o5 os86 154 L48| 8 |1oz o84 1.05 1.27 














对 于 表 8. 2(a 一 d) ,本 ,的 变化 可 解释 为 万 的 隶属 度 函 数 中 心 的 变化 : 殉 . 的 变化 可 解释 为 
_ 疙 的 隶属 度 函 数 幅 度 的 变化 ,多 :的 变化 可 解释 为 了 的 隶属 度 函 数 中 心 的 变化 . 而 通过 对 葬 . 的 
“分 析 , 可 得 出 模 竺 规则 相对 重要 性 的 变化 ,如 : 


rule 1 :ii Xi is small and Xi is small then Y is 


rule 1: 计 Xi is small and Xe is small then y is 瑟 ，with 1. 49 
rule 2:if Xiis small and Xs is mid then Y is 瑟 ，with 1. 59 
rujle 3: 计 is small and 厦 : is bigs then Y is 好 with 2.09 
Tule 4: 和 这 Xi is mid and 必 。 is small then Y is 瑟 ， with 2. 20 





0,0. 66,0. 48,，0- 50 
rule 45: 放 筷 is big and Xs is big tbenY is Hes…1.02,0.84,1.05，1.27 
可 见 ,rule 工 的 重要 性 下 降 了 ,而 rule 45 的 重要 性 提高 了 - 按 此 方法 ,可 提取 出 重要 性 所 

高 的 9 条 规则 作为 实际 应 用 的 参考 . 规则 如 下 所 示 : 


rule 5:iXi is mid and X: is mid thenY is 再 with 1. 52 
rule 6: 计 Xis mid and Xs is big then y is 百 ， with 1 88 


Tule 7: 计 Xi is big and X: is small then Y is 五 with 1. 5 


Fule 8: 计 Xis big and Xis imidq thenm Y is 百 ， with 1 60 
rule 9:if Xi is big and Xa: is big then Y is 了 s with 1. 27 


在 训练 1000 代 后 的 输入 /输出 变量 隶属 度 函 数 变化 如 图 8. 11 所 示 ， 


四 、 在 味觉 信 号 识别 中 的 应 用 

在 味觉 信号 识别 中 用 到 的 网 络 结构 如 图 8. 12 所 示 . 图 中 Net-A 部 分 用 于 混合 味 的 学 习 训练 
NetB 部 分 用 于 单一 味 的 学 习 训 练 . 可 见 NetA 即 为 WFNN 的 结构 ,而 Net-B 为 简化 的 WEFNN 结 
构 , 取 消 了 进行 非 模糊 化 操作 的 下 层 和 G 层 ,其 下 层 的 输出 与 各 单一 味 相对 应 . 网 络 输入 为 味觉 信 
号 的 特征 ,NetrA 输出 为 yw* ,标识 各 混合 味 . NetrB 输出 为 内 G 一 1,2,…，za) ,对 应 于 各 单一 味 , 当 学 
习 样 本 为 五 种 基本 昧 时 ,zz 一 5. 网 络 最 终 通 过 解 模糊 判决 输出 味觉 评价 . NetA 与 NetrB 各 层 的 运 
算 与 WFNN 相同 . 
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图 8.41 输入 /输出 变量 来 局 度 丁 数 曲 线 的 变化 
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图 8. 12 ”用 于 味觉 信号 识别 的 模 灶 神 经 网 络 模型 
根据 前 面 的 实验 ,对 采样 的 味觉 信号 数据 进行 数据 压缩 后 ,获得 的 数据 样本 如 表 8. 3 及 表 
8.4 所 示 , 其 中 表 8. 3 为 单一 味 的 学 习 样本 ,将 其 输入 到 Net-B 进行 训练 . 表 8. 4 为 酸 庆 混 合 
味 的 学 习 样 本 ,将 其 输入 到 Net-A 进行 训练 . 这 是 经 一 次 采样 获得 的 数据 样本 ,如 果 进 行 多 次 
采样 ,就 可 以 获得 多 个 样本 . 样本 数目 越 多 ,网 络 学 习 后 的 精度 越 好 . 
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更 8.3 单一 昧 学 习 样 本 









































输 人 输出 
样本 代号 味觉 评价 邢 z 邢 4 有 | 办 | 入 5 
Taste 1 酸味 0 197009 0.201018 0.489089 0.6159I6 | 工 0|o10|19 
Taste 2 甜 味 0. 256033 。 0. 253065 0.961945 0.811039 | " 1 0|1o|。， 
Taste 3 威 味 0.183008 。 0.186057 。 0917072 0.822078 | 0 0 上 9 | 8 
Taste 4 昔 味 0. 256907 。 0.256001 0.688084 。 0.368040 | 0 0 0 1 | 。 
Taste 5 香味 0.145057 “0.151054 4.737945 0.565909 | 0 | 0 | o。 | | 
表 8-4 混合 昧 学 习 样本 
输入 输出 
样本 代号 味觉 评价 必 1 并 sa 4 mx 
Mix 1 纯 酸 哑 0. 197009 ”0.201018 。 0.489089 。 0. 615916 1.0 
Mix 2 纯 酸 味 0. 212433 。 0.215684 0,.518368 。 0.762794 1.0 
Mix 3 屋 甜 适中 0.263253 0.293987 0.978364 。 0.846897 0.5 
Mix 4 甜 酸味 0. 283425 0. 302352 0. 992352 0.892352 0. 25 
Mix 5 酸 甜 味 0. 245363 。 0.254574 0.789557 。 0.868546 吕 .75 
Mix 酸 甜 适 中 | 0 269769 0.278976 。 0.971353 。 0.841235 0.5 
Mix7 纯 虱 味 0. 356033 0. 253065 0.961945 0.311039 0.@ 
Mix8 钝 天 味 0.268934 0.271243 0.977980 0.855759 6 








根据 学 习 样本 我 们 确定 图 8. 12 中 的 输入 为 和 一 和 将 输 人 变量 定义 了 三 个 模糊 子 集 
{small,mid, hbig} ,分 别 表示 小 .中 ,大 ,隶属 度 两 数 如 式 (8. 6. 1) (8. 6. 27、(8. 6. 3) 定 义 . 对 子 
NetrA, 输 出 变量 定义 了 五 个 模糊 子 集 { 三 ,Try,TsT,T)} ,分 别 表 示 纯 酸味 . 酸 甜 味 . 酸 甜 适 
中 、 甜 酸味 . 纯 甜 味 ,隶属 度 函 数 为 





TizZ)》 一 exp( 一 《KZ 一 访 )Aas)2) 《8. 2. 5) 
输 人 /输出 变量 素 属 度 函 数 曲 线 如 图 8. 13 所 示 ，. 
有 (1 (ea ) 
上 下 
09 
08 0.8 
03? 
046 0.6 
5 
04 D4 





0 02 04 06 08 上 


图 3. 13 输入 /和 输出 变量 束 以 度 函 数 曲 线 
仍 采 用 和 遗传 算法 训练 网 络 ,将 网 络 可 变 益 值 及 可 变 权 值 作为 基因 组 成 染色 体 .群体 中 第 ; 


条 则 色 体 的 适应 度 为 S 人 一 1/EGD ,其 中 ED 一 二 (O 一 7? 为 染色 体 个 数 ,为 学 习 


样本 数 ,了 为 教师 信号 ,O 为 此 条 银 色 体 所 对 应 的 网 络 的 输出 . 初始 群体 中 的 染色 体 数 选取 
500, 每 代 遗 传 操作 选取 250 对 染色 体 作为 父 巢 色 体 , 交 又 及 变异 操作 选取 染色 体 中 一 半数 目 
的 基因 ,变异 概率 为 0. 1, 变 异步 长 为 0 01. 当 网 络 输出 误差 小 于 给 定 值 时 ,学 习 过 程 即 告 结 
东 , 此 时 将 最 终 调整 好 的 权 值 存 人 文件 以 待 识别 时 使 用 . 
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NetrA 对 混合 味 的 训练 误差 曲线 如 图 8 14 所 示 . 其 中 变 蜡 率 分 别 取 0. 01,0. 05,0. 1,0.2,0. 9. 在 
训练 4000 代 后 ,网 络 误差 小 于 0.01, 各 网 络 权 值 和 阔 值 的 变化 如 表 8. 5 所 示 . 
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图 8. 14 ”遗传 算法 训练 模 精 神经 网 络 的 误差 曲线 
表 8.5 各 网 络 权 值 在 训 系 前 后 的 变化 
人 al 的 变化 
Wo Wu Wi Wi Wu Wan Wu Wu Wu 克 o Wuo 玖 加 
学 习 前 1235 05 075 025 05 075 0235 05 075 0235 05 075 
500 代 后 |026 047 076 0.24 0.25 0.72 0.17 064 081 026 0.47 073 


2000 代 后 |028 052 079 023 031 075 027 067 081 023 035 070 
4000 代 后 10.29 053 070 024 0.32 073 0.28 0.63 082 0.24 045 073 

















[bw 的 变化 
We 到 ua 本 = 机 = 三。 而 < We 于 琴 吕 邢 o。。 Wu Wan 
学 习 前 20 0.3 20 20 0.2 20 20 0.2 20 20 0.3 20 


500 代 后 |20.06 0.26 20.02 20.00 0 外 20.09 19.99 0.317 20.01 20.05 日 16 19.93 
32000 代 后 |19.98 0.29 20.12 20.21 021 20.07 19.99 0.18 230.03 20.07 013 19.90 
4000 代 后 |19.94 0-24 20.30 20.34 0.18 20.10 19.98 0.19 20.07 19.99 0.10 19.91 























(elWr 的 变化 
Wa We We Wm Was 
学 习 前 0.0 0.25 0.5 人 .75 10 
500 代 后 一 0.10 吕 25 0 74 1.07 1.23 
2000 代 后 一 0.12 0.15 0.62 0.88 1.18 
4000 代 后 一 0. 14 0. 58 84 1.13 
{dJW. 的 变化 
Wo 本 or Wo We 现 t 
学 习 前 10 1.0 1.0 1.0 1.0 
500 伐 后 0.98 0.96 0. 97 1 04 0.99 
2000 代 后 0.97 0.99 0.97 1.02 0.90 
4000 代 后 0. 9 0.99 0. 93 1.07 0.88 








同 样 ,可 以 将 权 , 的 变化 解释 为 X, 的 隶属 度 函 数 中 心 的 变化 ,本 .的 变化 解释 为 史 的 隶属 
度 函 数 幅度 的 变化 ,W; 的 变化 可 解释 为 wm 的 隶属 度 函 数 中 心 的 变化 , 而 通过 对 歼 . 的 分 析 , 可 
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得 出 模 糊 规则 相对 重要 性 的 变化 ,如 ， 
rule 1 : 话 瑟 is small and Xa is small and Xi is small and X, is small then 
yan is Tv1.0,0.98,0.97,0.91 
rule 4 :证 丙 ; is small and 大 :is small and 环 。 is smaH and X4 is small then 
mu i Tv1,.0,1.04,1.02:1.07 
可 见 ,rule 1 的 重要 性 下 降 了 ,而 rule 4 的 重要 性 提高 了 . 这 样 我 们 就 可 以 保留 规则 4 而 
合 弃 规则 1. 按 此 方法 ,可 提取 出 重要 性 提高 的 若干 条 规则 作为 实际 应 用 的 参考 - 训练 4009 代 
后 的 输入 输出 变量 隶属 度 函 数 变化 如 图 8. 15 所 示 - 
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图 8. 45 输入 /输出 变量 烷 属 度 函 数 曲 线 的 变化 


一 一 训练 前 训练 后 


搁 络 经 训练 后 , 我们 就 可 以 对 已 知 和 未 知 的 味觉 信 叶 进行 识别 了 . 对 味觉 信号 的 识别 过 程 
如 图 8. 16 所 示 ， 





调整 好 的 权 值 


待 测 信号 “| -| 模 柳 神经 网 络 | “| 识别 结 浊 


响声 信和 号 





























图 8.16 味觉 信和 导 的 识别 过 程 


将 味觉 信 导 的 特征 输入 到 网 络 中 ,根据 Net-A 和 Net-B 的 输出 进行 判决 ,给 出 味觉 评价 . 
判决 方法 是 :如 果 已 知 待 测 信号 为 某 种 单一 味 时 ,可 以 根据 NerB 的 输出 中 娜 一 个 为 逻辑 
“给 出 味觉 评价 . 如 果 已 知 葫 测 信号 为 混合 味 时 (在 本 文中 为 酸 甜 混 合 味 ), 则 可 以 根据 Ner- 
人 的 输出 yo 及 其 来 属 度 函 数 给 出 味觉 评价 . 如 果 待 测 信号 为 未 知 信号 时 , 则 按 如 下 方法 判 
决 : 如 果 NetB 的 输出 % 中 有 上 且 仅 有 一 个 为 “17, 则 判断 此 味 党 为 单一 味 , 并 根据 娜 一 个 ?为 
“给 出 味觉 评价 ;否则 判断 此 味觉 为 混合 味 , 并 根据 yx 的 输出 及 隶属 度 函 数 给 出 味觉 评价 . 
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贤 辑 “1 7 须 设 定 某 个 实数 区 间 , 如 [0. 8,1], 只 要 输出 在 此 区 间 就 认为 是 12. 
实验 结果 表明 :对 于 训练 过 的 样本 识别 率 接近 100 多 . 当 符 测 信号 为 五 种 基本 味觉 时 ,其 输出 结 
果 及 味 党 评价 如 表 8 6 所 示 , 当 待 测 信号 为 混合 味 时 ,其 输出 结果 及 味觉 评价 如 表 8. 7 所 示 . 
表 8.6 基本 味 信号 识别 结果 
实 奈 纺 出 


























样本 代 呈 瑟 加 页 六 加 这 要 计 从 
Yaste1 如 952079 0.022198 0. 021339 0. 020423 0. 01000 本 味 
Taste 2 0. 028328 0. 981666 0. 010000 0.030000 0. 01000 副 嘛 
Taste 3 0.010000 0. 010000 0. 99000 0.014723 0.010000 威 昧 
Taste 4 0.010678 人 01000 9.01000 0.990000 0.010000 著 昧 
Taste 5 0.010000 0.010000 0.01000 0.038766 9. 987471 香味 

衷 &7 混合 味 信 和 号 识别 结果 

样本 代号 实际 输 册 ye 期 望 输出 y= 昧 党 评价 
mix 工 .96 1.0 纯 酚 味 
mix 2 1.01 1.0 纯 酸 味 
mix 3 Q.45 .5 酸 和 耐 适中 
mix 4 0.27 0- 25 甜 酸 听 
mix5 0.73 0.75 胺 甜 味 
mix 6 0.49 0.5 屋 甜 适中 
mix7 0.04 0.0 纯 甜 味 
mix 8 0.09 0.0 纯 垂 味 








上 夯 的 结果 是 使 用 标准 味觉 信号 , 即 学 习 过 程 中 所 使 用 的 输 和 人 信 生 ,但 是 在 实际 测量 过 程 
中 的 输 人 信号 往往 偏离 标准 ,为 考证 模糊 神经 网 络 对 味 党 信号 的 识别 精度 ,可 在 标准 信号 上 附 
加 随机 噪声 信号 作为 输入 信和 号, 设 A 为 标准 信和 号,B/A 为 信 织 比 ,C 为 [一 1,1] 间 的 随机 数 , 那 
么 附加 到 声 信号 后 的 输 人 信号 值 4 为 ; 
4 一 ATCXKCB/A)XA 
图 8. 17 给 出 了 在 B/4 为 0.1 时 ,用 NetrA 对 mixl 一 mix8 识别 200 次 的 结果 误差 分 布 
,误差 计算 公式 为 : 











0 如 E 75 


100 125 150 175 200 
次 数 
男 8.17 BA/A 一 0.1 时 的 网 络 误差 分 布 
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Error 一 到 忆 (0 一 2 


式 中 ;为 样本 数 ,O 为 网 络 的 实 放 输 出 ,了 为 期 望 笨 册 。 其 中 Error 小 于 0.5 为 165 次 , 达 


82, 5 多 ,可 见 网 络 精度 是 很 好 的 . 
和 偏 噪 比 B/A 对 网 络 误差 的 影响 如 图 8. 18 所 示 , 其 中 B/4 取 值 为 0.0 一 1.0, 间 丽 为 
0.01. 对 每 一 个 B/A ,用 网 络 识别 1000 次 ,并 计算 赔 络 输出 的 平均 误差 Error- 可 见 当 信 噪 比 


小 耶 0.2 时 网 络 精度 仍 很 高 . 














错 设 
12 







1 
3| 


0.6| 


信 喇 比 


图 8.18 网 络 输出 误差 随 B/A 变化 曲线 

于 面 ,用 如 图 8 19 所 示 的 三 层 前 向 神经 网 络 对 单一 味觉 依 导 进行 识别 ,输入 X 为 味觉 信号 
特征 ,输出 % 对 应 各 单一 味 党 信号 - 分 别 用 BP 算法 和 和 遗传 算法 对 其 进行 训练 , 间 在 与 模糊 神经 网 
络 模型 WFNN 进行 对 比 . 实验 表明 :GA 利 BP 算法 相 比 ,虽然 GA 训练 时 间 较 长 ,大 约 是 BP 算 
法 的 1.5 倍 以 上 ,但 GA 在 全 局 搜索 方面 优 于 BE 算法 ,GA 和 BP 算法 相 比 陷 人 局 部 极 小 的 概率 
低 . 从 图 8. 20 可 以 看 出 ,用 GA 进行 训练 模糊 神经 网 络 模型 WEFNN 与 三 层 前 向 神经 网 络 的 误差 
收 敏 速度 相当 :WEFNN 较 好 一 些 - 可 多 模糊 神经 网 络 模型 WENN 较 简单 的 三 宏 前 向 神经 网 络 ， 
不 仅 在 网 络 结构 上 清晰 、 易 于 理解 ,而 且 在 功能 上 也 是 实用 的 有效 的 . 











图 3.19 前 向 神经 网 络 图 D 200 400 500 800 1000 


图 8.20 几 种 了 网络 及 算法 的 比较 
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8.2.4 模糊 神经 网 络 和 前 使 型 网 络 的 组 合式 网 络 模型 


模糊 神经 网 络 各 前 馈 型 网 络 的 组 合式 网 络 模型 不 需要 领域 专家 的 知识 进行 指导 ,而 是 通过 样 
本 的 竞争 分 类 产生 模糊 规则 . 每 类 样本 对 应 一 条 模糊 规则 ,每 条 规则 的 后 件 部 分 为 一 个 对 本 类 禅 本 
进行 学 习 训练 的 前 镇 型 神经 网 络 ,可 用 遗传 算法 进行 学 习 训练 该 模糊 神经 网 络 能 够 较 好 地 处 理 拒 
识 样本 的 问题 ,并 囊 在 时 间 序列 分 析 的 应 用 中 取得 了 较 好 的 效果 - 

一 、 网 络 模型 

该 网 络 模型 由 四 层 不 同 功能 的 节点 构成 , 见 图 8. 21,AA 层 为 模糊 化 层 ,也 户 为 规则 层 ,C 层 为 后 
件 神 经 网 络 层 ,D 层 实 现 非 模 崩 化 . 网 络 包含 C 条 规则 ,每 条 模糊 规则 具有 以 下 形式 : 

这 关 is Lu and Xs js La and wand Xw is Lwthen 了 一 net(3 Xe Xw) 

其 中 为 对 应 输入 变量 X, 的 第 了 个 语言 变量 ,net 为 第 7 条 规则 的 后 件 神 经 网 络 的 映射 画 
数 ,1,2， Ni 一 1,2，C. 














(《D) 


{《C》 














(〈B) 




















图 8. 21 模糊 神经 网 络 和 前 镇 型 网 络 的 组 合式 网 络 模型 
私 层 为 语言 变量 隶属 度 了 落 数 层 . 每 个 输入 天 划分 为 C 个 语言 变量 ,每 一 个 节点 对 应 一 个 
语言 变量 ,节点 的 输出 为 隶属 度 函 数值 . 节点 的 传输 函数 为 ， 
0 一 po CXKD (8.2.6) 
卫 层 为 取 最 小 层 . 该 层 节 点 对 A 层 节 点 给 出 的 于 属 度 值 进 行 取 最 小 或 代数 乘 操 作 , 得 到 
各 条 规则 的 点 火 强 度 (Firing Strength). 节点 的 传输 函数 为 。 


内 
一 Fi(Oh,O…Ok) 或 者 CF 一 FS 一 TO 《8.2.7) 





jI 
其 中 ,FS, 为 第 ; 条 规则 的 点 火 强度 ,一 1,2，…:C- 
C 层 为 后 件 神经 网 络 层 . 每 条 规则 的 后 件 部 分 对 应 于 一 个 有 两 个 陷 朗 的 前 债 型 神经 网 络 . 
输 人 向 量 为 下 = (Xi，,Xz，…Xnw)， 并 对 本 类 祥 本 进行 学 习 训练 . 后 件 神经 网 络 的 输出 与 本 规 
则 的 点 火 强度 相 薪 作为 该 祖 的 输出 . 节点 的 传输 本 数 为 : 
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OO 一 Ofnet (0 一 FSinet CO 《8.2.8) 
其 中 ,neti 为 第 : 条 规则 的 后 件 神经 网 络 的 映射 函数 ,i 一 1,2,……C. 
卫 层 为 非 模糊 化 层 . 该 层 对 各 个 后 件 神经 网 络 的 输出 结果 用 重心 法 进行 非 模 糊 化 ,产生 模 
糊 神 经 网 络 的 输出 结果 . 节点 的 传输 函数 为 : 


四 c 
站 [neuCODFSi] 
各 ~- 扣 -一 

忆 PS， FS. 

各 气 








和 二 人 (8. 2. 9) 





二 、 样 本 竞 字 分 类 

为 了 确定 模糊 规则 前 件 中 语言 变量 的 素 属 庆 函 数 ,首先 对 学 习 样 本 进行 竞争 分 类 . 假设 共 
有 M 个 输入 样 本 Ti ,到 ,Tu ,其 输入 向 量 为 五 一 (Ta Te，eTv)y,E 一 1,2，M, 用 如 下 
方法 对 输 人 样本 进行 竞争 分 类 ， 

名 在 输入 样本 空间 中 投 人 C 个 “种 子 ”,S: 一 《Su So，Snw)5i 一 1,2，C. 


只 
加 对 每 个 输 人 样本 和 每 个 种 子 计算 Dix 一 过 1S5* 一 TI 1, 具有 最 小 Ds 值 的 种 子 S, 就 是 对 
输入 样本 瑟 竞 争 的 胜 者 , 即 输入 样本 一 是 第 ; 类 的 成 员 . 每 个 输入 样本 只 有 一 个 竞争 胜 者 , 即 
每 个 输 人 桩 本 只 属于 C 类 中 的 某 一 类 . 
图 对 所 有 的 样本 竞争 完毕 后 ,对 每 个 种 子 根据 竞争 获胜 的 情况 按 下 式 进 行 修正 . 
SSToy an sn 《8. 2- 10) 


2 


其 中 为 学 习 率 , 取 较 小 的 正 数 8: 为 r 竞 争 胜 者 . 

国 如 果 竞 争 次 数 已 到 则 结束 , 否则 转 @@. 

在 竞争 分 类 过 程 中 对 种 子 的 修正 ,使 得 种 子 在 觉 争 铬 的 样本 的 共同 作用 下 向 得 到 的 样本 
移 副 . 经 过 多 次 竞争 和 修正 ,种 子 最 终 稳 定 在 竞争 所 得 到 的 样本 中 心 . 因为 每 个 输 人 样本 仅 有 
一 个 获胜 者 ,所 以 每 个 样本 仅 属 于 一 个 类 ,这 样 经 过 竞争 ,学 习 样 本 分 为 C 类 . 

三 、 输 入 变 重 束 属 度 函数 的 确定 

对 子 C 类 学 习 样 本 ,每 类 对 应 一 条 模糊 规则 . 模糊 规则 前 件 中 话 言 变量 的 隶属 度 函 数 采 
用 图 8. 22 所 示 的 梯形 郴 数 ,其 形状 由 参数 sp,c,d 来 确定 . 语言 变量 Li 的 参数 由 下 式 确 定 . 
求 属 度 凡 




















oo|------------ 


| 
加 加 了 区 和 区 
转 8. 22 梯形 本 数 


西 一 minftT1TeE 从 
本 一 maxf{TeiTeE 从 
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一 ooy 梧 一 min {T5)》 
au 一 TH 
| 1Tu<eas ) 香 则 
十 co， 而 一 maxfTe} 
1 二 ji 人 
人 1Ts>Csj， 理 出 
输 和 人 变量 X 的 隶属 度 计 算 如 下 : 
0， ZZd 或 xsa 
冬 ， 6>za 
(zz)=j “ (8.2.11》 
“ 1， czPp 
2 一 工 ， Ge 





四 、 模 燃 规 则 后 件 子 网 的 训练 

后 件 子 网 采用 遗传 算法 进行 训练 - 每 个 子 网 学 习 属 于 本 类 的 学 习 样 本 ,训练 一 定 次 数 或 误 
差 满 足 要 求 后 结束 训练. 

五 . 拒 识 样本 的 处 理 

经 过 竞争 ,学 习 样 本 分 为 C 类 ,N 维 输 人 向 量 的 每 一 维 对 应 C 个 语言 变量 ,共有 人 种 语 
言 变 量 的 组 合 , 即 有 C 条 规则 . 当 六 较 大 时 ,C 条 规则 仅 是 C" 种 组 合 的 一 小 部 分 . 实际 上 往 
往 会 发 生 拒 识 的 情况 , 即 所 有 规则 的 点 火 强度 均 为 零 ,所 有 的 规则 都 没 被 激活 - 对 子 拒 识 样本 . 








J 一 (PTw) ,计算 了 工 与 每 个 种 子 的 距离 D7 一 > 138 一 万]i 一 1 C, 以 JAD 作为 
各 规则 的 点 火 强度 ,模糊 神经 网 络 的 输出 结果 为 ， 

， e 
[netCD/AD"] 
= 


Y 一 0 = 一 
ID 
友 ; 

这 样 ,用 拒 识 样本 与 各 条 远 则 对 应 的 种 子 ( 即 类 的 中 心 ) 的 距离 确定 规则 的 激活 程度 ,上 距离 越 
大 ,样本 越 偏离 这 条 规则 ,规则 的 激活 程度 越 小 . 综合 所 有 规则 的 结果 ,用 重心 法 进行 非 模糊 化 即 可 
得 到 一 个 能 代表 全 体 规则 输出 结果 的 值 ,从 而 解决 了 样本 拒 识 的 问题 . 

六 、 在 时 间 序 列 分 析 中 的 应 用 

现 将 模糊 神经 网 络 和 前 馈 型 网 络 的 组 合式 网 络 模型 用 子 时 间 序 列 分 析 上 ,并 和 另外 网 种 
方法 相 比 较 以 验证 其 有 效 性 . 

这 是 一 个 气温 板 测 的 实验 , 数据 来 源 是 武汉 市 1978 年 1 月 至 1987 年 12 月 的 月 平均 气温 
数据 , 共 120 个 . 实验 采用 图 8. 21 所 示 的 模糊 神经 网 络 模型 ,其 中 包含 4 条 规则 ,后 件 子 网 有 
12 个 输 人 ,一 个 输出 ,有 两 个 隐 层 , 隐 层 单元 数 均 为 30. 用 前 12 个 数据 为 输入 ,进行 向 前 一 步 
预测 ,得 到 下 一 个 数据 , 这 样 120 个 数据 可 以 产生 108 个 输 人 输出 模式 ,以 其 中 前 90 个 模式 为 
学 习 样 本 ,其 但 的 作为 测试 样本 . 每 个 子 网 用 遗传 算法 训练 5000 代 , 模糊 神经 网 络 输出 结果 与 
样本 输出 的 比较 如 图 8. 23 所 示 . 

* 在 时 间 序 列 分 析 和 系统 辨识 中 ,传统 上 使 用 的 是 ARMA(KAuto Regressive Moving Aver- 
age) 自 动 回归 滑动 平均 模型 ,但 由 于 ARMA 模型 的 建立 比较 复杂 ,实际 应 用 中 常 形 AR(Auto 


《8. 2. 127》 
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Regressive) 模 型 . 本 实验 中 采用 AR(127 模 型 ,用 12 个 数据 作为 输入 ,进行 向 前 一 步 测 试 ,得 
到 下 一 个 数据 , AR(32) 的 参数 确定 为 ， 











和 一 六 -方太 -而 击 - 南 - 广 而- 亲 1001i0 
样本 /个 
图 8. 23 ”模糊 神经 网 络 输出 结果 与 样本 输出 的 比较 
一 一 模糊 神经 网 络 ”一 一 样本 
尽 ， 0.728X 0. 246 必 -> 0.080X,， 3 0. 209X,-， 0. 203 交 s 十 0. 018X s 一 
0.375X -十 0.052X， as 十 0.007 和 一 0. 114X 十 0.043X, -一 0.073 居 > 《8. 2. 13)》 
第 三 种 方法 是 前 向 神经 网 络 方法 ,即将 时 间 序 列 预 测 中 的 输入 输出 模式 作为 网 络 的 学 习 
样本 来 训练 网 络 ,利用 阅 络 的 学 习 能 力 从 样本 中 获取 知识 ,从 而 做 出 预测 . 前 向 神经 网 络 方法 
的 主要 问题 是 当 样 本 较 多 时 网 络 的 训练 难以 收敛 . 实验 采用 一 个 具有 12 个 输入 节点 ,一 个 输 
出 节点 ,490 个 单 隐 层 节点 的 前 向 网 络 , 对 90 个 样本 进行 学 习 训练 ,其 他 样本 用 来 进行 测试 ， 
三 种 方法 的 测试 结果 对 比如 图 8. 24 所 示 , 可 以 看 出 , 模 柳 神 经 网 络 用 于 时 间 序 列 分 析 上 
取得 了 较 好 的 效果 























钒 100 30 
样本 /个 


图 8.24 三 种 方法 用 于 预 届 气 温 的 比较 
一 一 样本 ”一 一 模 帆 禄 经 网 络 … 前 向 神经 网 结 “一 AR 


$8.3 神经 模糊 系统 


3.3-1 基于 神经 网 络 的 自 适 应 模糊 控制 器 


自 适应 模 精 控制 在 模糊 控制 学 科 体 系 中 占有 特别 重要 的 地 位 . 自从 1979 年 英国 的 Mam- 
dani 下 卫 和 他 的 学 生 Proceyk TJ 丁 首先 提出 自 适应 模糊 控制 以 来 , 自 适应 模糊 控制 领域 已 取得 
了 丰硕 的 成 果 , 尤 其 是 引信 神 经 网 络 学 习 方 法 以 后 ,基于 神经 网 络 的 自 适应 模糊 控制 新 方法 层 
出 不 穷 ,成 为 引信 了 眼目 的 研究 热点 . 
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汽车 速度 控制 器 是 一 个 基于 神经 网 络 的 自 适应 模 燃 控 制 器 的 例子 . 现 有 汽车 速度 和 道路 
的 不 平 两 个 输入 ,以 及 一 个 输出 , 即 油门 位 置 . 汽车 速度 由 转速 表 转 换 而 来 ;道路 不 平 度 是 由 路 

















而 等 级 得 到 ， 
首先 ,如 图 8. 25 所 示 , 量 化 并 选择 两 个 输入 与 一 个 输出 的 模糊 子 集 - 
很 僵 慢 - 般 锯 和 急 快 1 平 。 微 不 平 一 般 很 不 平 
是 牙 
和 和 
9T55 .08 2035 二 53535 6 0 10 5 32055730 3 一 40 
转速 had's" 不 平 度 


加 介 


负面 负面 正面 ”正面 
影 最 大 ”影响 小 无 ， 影响 小 ”影响 大 
1 CN) (SN) (ZR (SN) 《LIB) 


隶属 度 


站 05 038 20 2728 3245 55 后 2 
转速 had.s 
[oj 


图 8. 25 ”输入 与 输出 的 模 精 集 
其 次 ,用 模 烂 的 陈述 来 构造 模糊 控制 规则 . 由 速度 与 路 面 不 平 度 的 相互 作用 ,可 以 构造 出 
一 个 4X5 的 抢 降 以 表示 在 各 种 情况 下 油门 庶 处 的 位 置 , 其 结果 见 表 8. 8. 它 把 模 燃 控制 器 的 
输 和 与 输出 联系 起 来 ,这 种 表示 也 可 以 看 做 是 另 一 种 形式 的 规则 , 即 ， 
这 ( 列 的 条 件 )and 行 的 条 件 ?then( 相 交 处 即 是 动作 》 
胡 8.8 模糊 控制 规则 表 





转速 表 





路 面 平 度 很 措 烛 一 般 快 很 快 
平 LP SP ZR SN LN 

微 不 衬 LP SP ZR ZR SN 

一 般 LP SP SP SP 亚 

较 不 平 LP LP LP SP SP 





根据 模 橱 控制 规则 ,就 可 构造 出 相应 的 模 糯 神 经 网 络 ,如 图 3. 26 所 示 . 

注意 这 个 系统 类 似 于 神经 网 络 的 形式 ,但 其 答 人 所 连接 的 是 不 同 的 模 棚 控制 规则 ,而 不 是 
普通 神经 网 络 的 节点 . 图 8. 26 未 画 出 精确 量 和 模 烤 量 的 相互 转换 部 分 - 

下 面 简要 介绍 一 下 自 适 应 算法 对 模糊 神经 网 络 的 修改 , 例如 模糊 规则 加 权 值 的 移 改 ,这 种 
修改 短 法 是 很 简单 的 , 它 由 各 权 值 W; 乘 以 一 个 误差 系数 而 组 成 . 在 有 导师 指导 的 学 习 中 ,该 系 
数 是 实际 系统 输出 与 正确 输出 值 之 比 , 在 自 适 应 模式 中 ,这 个 系数 是 雁 最 优 控 制 区 的 中 心 点 到 
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系统 实际 响应 区 中 心 的 均 方 距离 . 经 过 一 段 时 间 的 训练 后 ,将 使 贡献 大 的 规则 得 到 加 强 ,而 贡 
献 小 的 规则 受到 削弱 . 同时 ,也 使 规则 更 加 集中 于 输入 数据 的 密集 区 - 在 这 个 例子 中 ,开始 就 先 
令 所 有 权 值 均 为 1, 经 过 一 段 训 练 后 , 权 值 发 生变 化 ,如 表 8. 9 所 示 ,系统 的 平衡 点 向 右 下 方 移 
动 , 即 移 向 输入 数据 密集 的 区 域 . 









































图 8. 26 ”模糊 神 经 网 络 
表 8.9 模糊 控制 规则 表 











塌 速 表 
路 面 平 虐 很 悍 旭 上 地 快 很 快 
平 5570 末 工 05 TI 工 站 
徽 不 平 0.65 六 97 1.08 1. 20 1. 30 
一 般 0.82 吕 9 * 工 11 1 28 # 1.31 
较 不 尾 091 1.03 共 于 .1 有 8 1. 39 .44 





表 中 带 * * “号 的 是 输 人 数据 的 密集 区 的 部 分 - 

对 模 寡 神经 网 络 实行 自 适应 改变 的 另 一 种 方法 是 模糊 集 论 域 宽度 的 改变 . 这 种 方法 是 根 
据 反 馈 信 号 调整 模糊 集 ,使 它 变 宽 或 变 罕 . 也 是 根据 实际 输出 与 期 望 输出 的 误差 来 改变 ,但 不 
同 之 处 在 于 修改 规则 的 加 权 值 时 ,实际 上 只 利用 了 上 述 误差 的 绝对 值 来 进行 调整 . 


8. 3.2 适应 性 模糊 联想 记忆 系统 


一 个 模 栏 系统 S 将 一 簇 模 糊 集 合 映射 到 另 一 簇 模 守 和 集合, 即将 相近 的 输入 映射 到 相近 的 
输出 ,这 种 行为 称 做 联想 记忆 ,该 系统 称 为 模糊 联想 记忆 系统 (Fuzzy Associative Memories 
System, 简称 FAMD. 最 简单 的 模糊 联想 记忆 编码 是 (4, ,B:) ,表示 捐 维 模 栏 集 合 B; 与 = 维 模 
箭 集合 和 4; 的 关系 - 这 与 简单 的 神经 网 络 功 能 相似 ,其 差别 是 不 需要 送 虚 性 训练 . 模糊 联想 记忆 
系统 中 ,规则 库 可 写成 (4， ,Bi),…,(4。,B。). 每 个 输入 A 可 以 不 同 的 程度 作用 FAM 系统 中 
的 规则 ,FAM 映射 4 到 了 ?5 开 是 如: 的 一 部 分 , 相应 的 输出 模糊 集合 如 可 以 通过 各 部 分 作用 的 
模糊 集合 结果 的 组 合 得 到 , 即 


召 一 好 且 十 zu B2 十 十 zs 理 (8.3.1) 
其 中 几 反 映 模 糊 联 想 (4A,,B,) 的 可 信和 度 ,频率 或 强度 . 最 后 ,将 输出 模糊 集合 B 通过 去 模 
或 确定 的 数值 w* 图 8. 27 给 出 了 FAM 系统 的 一 般 结构 . 一 


将 神经 网 络 思想 引 人 FAM 系统 构成 的 自 适 庶 模 糊 系 统 , 称 为 适应 性 模 燃 联想 记忆 系统 
〈Adaptive Fuzzy Associative Memories System, 简 称 AFEAMD). 它 是 一 种 随时 间 变 化 的 模糊 系 
统 ,系统 参数 随 样 本 和 处 理 的 数据 而 逐渐 变化 , 即 通过 神经 网 络 的 学 习 规 则 ,如 Hebb 规则 、 
Delta 规则 等 ,其 基本 形式 是 : 
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FAM 规则 1 
有 本 上 = 


FAM 规则 2 


卢 >| 4B | = 有 





























FAM 规则 普 
如 1/ 
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人 十 1 一 aX tu 人 维 十 Arot 十 1 《8. 3. 2) 
8.3.3 基于 神经 网 络 的 模糊 系统 建 模 


模糊 系统 建 模 (Fuzzy Modeling) 是 一 种 利用 模 棚 推理 描述 复杂 的 非 组 性 系统 的 特征 的 方 
法 . 基于 神经 网 络 的 模糊 系统 建 模 是 将 神经 网 络 的 技术 应 用 于 模糊 专家 系统 ,其 核心 是 用 神经 
网 络 来 实现 模 粒 系统 的 输 人 /输出 映射 关系 . 其 功能 结构 与 一 般 的 神经 网 络 专家 系统 大 体 相 
同 , 而 不 同 的 是 它 要 存 凡 及 运用 的 模式 或 模式 对 是 模糊 模式 或 模糊 模式 对 . 因此 ,在 实际 采用 
神经 网 络 技术 的 模糊 专家 系统 中 ,需要 重点 考虑 的 问题 是 :如 何 实现 模糊 模式 或 模 模 模式 对 的 
模 焰 联想 记忆 存储 及 如 何 实现 模糊 模式 或 模糊 模式 对 之 间 的 模 栏 联想 及 模糊 映射 - 

为 实现 模糊 模式 的 存储 及 瞻 射 , 亦 即 实现 常规 意义 下 的 模 模 规 则 的 存储 与 运用 ,可 将 前 局 
型 神经 网 络 引 入 模糊 推理 . 选用 前 饼 型 神经 网 络 来 构造 模糊 推理 系统 ,通常 使 用 模糊 穴 - 穴 映 
射 模型 基本 思想 是 将 输入 变量 空间 进行 模糊 划分 ,形成 有 限 个 模糊 穴 组 或 的 穴 空间 ,将 这 一 
过 程 称 为 “模糊 化 "过 程 . 然后 将 模糊 化 后 的 变量 作为 前 僵 型 神经 网 络 的 输入 .经 过 前 馈 型 神经 
网 络 的 学 习 和 训练 后 ,其 输出 还 要 进行 “惟一 化 操作 ,将 此 过 程 称 为 “ 非 模 棚 化 ”过程 . 原理 如 
下 ， 

设 夺 为 网 络 输 人 变量 空间 ,将 五 划分 为 若干 个 称 为 “模糊 穴 ” 的 模糊 子 空间 Ki 一 1,2， 
…,N) ,这些 模 棚 穴 满足 如 下 条 件 ; 

@@VzEX, 3l<7<Nouo(z)>0 

加 YzE 居 ,31<jps<N pz) Aum(z)0 

图 YEXiYAE[0,1]p Ga 十 (一 Daza)Ppn() Ap 

变量 空间 厂 经 过 模糊 划分 后 ,就 转化 为 由 有 限 个 模糊 穴 组 成 的 穴 空间 . 而 下 中 的 任 一 对 
象 也 就 可 以 由 这 些 模 大 穴 来 表征 . 例如 , 对 任 一 <E 刁 ,有 
榴 一 CX(z) 一 {CXiCz) 一 pw(z 直 一 1,2 0 N} 《8.3. 3》 

CE(z) 称 为 所 对 应 的 模糊 穴 向 量 . 根据 Zadeh 的 定义 ,模糊 推理 系统 可 由 CrCy) 一 
GCCX(Cz)) 表 征 . 其 中 CY() 和 CXCz) 分 别 为 系统 输出 及 输入 所 对 应 的 模糊 穴 向 量 ,G 是 从 工 
到 ? 的 模 棚 映 射 ,在 输入 z 后 ,由 CY(?) 一 G(CXE(z)) 可 获得 输出 模糊 向 量 

CYKy) 一 {CP CCYaCy) CC7C2D) (8. 3. 4》 

进一步 可 用 ”面积 中 心 法 ?将 结果 非 模 糊 化 ， 
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2 一定 思 xXCmCODA CT 
即 
一 阳 Ti Xpw 3) 
pos (y) 
其 中 zw 为 了 上 的 模糊 穴 六 的 特征 点 , 它 满足 


Hg) 一 1 (四 士 只 一 河 ( 四 一 另 (8.3.6) 
基于 模糊 穴 和 概念 的 模 猜 祥 - 穴 映射 模型 ,模糊 神经 网 络 可 形式 化 的 表示 为 图 8. 28. 


让 | 模 相 化 CCD [或 只 -| 化 ] 7 


《8. 3. 5) 




















图 8. 28 ”基于 槛 类 穴 概念 的 模糊 神经 网 络 
以 BP 秽 为 催 , 这 一 类 模糊 神经 阐 络 结构 如 图 8. 29 所 示 . 其 中 FL 为 模糊 化 层 ,BP-NET 为 前 馈 
型 神经 网 络 层 ,DL 为 非 模糊 化 层 . FL 层 的 每 一 个 节点 对 应 着 输入 变量 空间 的 模糊 穴 ,FL 层 的 输出 
就 是 输 人 变量 所 对 应 的 模糊 穴 向 量 ,而 前 馈 型 神经 网 络 的 输出 对 应 的 是 系统 输出 y 对 于 其 空间 
中 某 个 模糊 穴 的 束 属 程度 , FL 层 将 系统 输 人 转化 为 模糊 穴 向 量 ,前 镇 型 神经 网 络 实现 模糊 有 映 射 ,DL 
层 将 前 竺 型 神经 网 络 输出 的 模糊 穴 向 量 转化 为 系统 的 确定 输出 . 对 于 此 类 模糊 神经 网 络 , 用 于 模糊 
隐 射 的 神经 网 络 需 预 先 用 样本 模式 进行 学 习 训 练 ,而 不 是 整个 网 络 ~- 起 训练. 








图 8.29 基于 BP 神 经 所 络 的 模糊 系统 囊 槛 
进一步 可 将 神经 网 络 分 别 引入 模 灶 化 、 横 类 推理 、 解 模糊 判决 模块 ,也 即 用 三 个 神经 网 络 
分 别 模 氢 这 三 个 模块 的 输入 输出 特 人 性 . 这 类 模糊 神 径 阅 络 结构 如 图 8. 30 所 示 . 其 中 :A.B.C 
层 实 现 模糊 化 ,D` 耻 .F 层 实现 模糊 推理 ,G、.H.I 层 实现 非 模糊 化 .C.D 层 的 节点 数 由 输入 变量 
的 模糊 集 个 数 决 定 ,F,.G 层 的 节点 数 由 输出 变量 的 模糊 集 个 数 决定 . 这 种 模糊 神经 网 络 比 前 


者 上 共有 较 高 的 精度 . 






5-cRc 人 -< 

> 
信和 认 六 () (KAN 
EAI 从 


丰 了 CC D 下 下 C 于 工 
图 8 36 改进 的 基于 BP 神经 网 络 的 模糊 系统 鞠 模 
8. 3.4 快速 规则 搜索 的 模糊 系统 建 模 - 


Matsushita S 等 人 曾 提出 一 种 快速 模糊 系统 建 模 方法 (Quick Fuzzy Modeling) ,使 得 在 建 
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立 模 棚 系统 之 前 ,通过 对 输入 数据 进行 粗略 分 类 来 搜索 规则 ,然后 基于 所 得 到 的 规则 建立 模糊 
神经 网 络 模型 . 但 该 方法 适用 于 二 维 输 和 人 空间 , 当 输 入 空间 大 于 二 维 时 , 输 人 子 空间 的 相 邻 关 
系 的 确定 比较 复杂 ,而 且 输 入 的 维 数 很 大 时 , 建 模 的 层 数 也 随 之 递增 . 

下 面 介绍 一 种 不 受 输入 维 数 限制 的 快速 模 燃 规则 搜索 方法 ,并 基于 此 方法 进行 模 精 建 模 ， 
用 遗传 算法 训练 网 络 ,最 后 通过 实验 证 明 该 方法 的 可 行 性 和 有 效 性 . 

一 、 快 速 模糊 规划 搜索 方法 

对 于 模糊 系统 而 言 , 如 果 有 ”个 输 人 变量 ,每 个 变量 的 论 域 上 又 定义 天 个 模 灿 子 集 , 那 么 
总 计 共 有 加 条 模 栏 规则 . 快速 模糊 规则 搜索 方法 将 从 mm 条 规 旭 中 抽取 若干 规则 ,从 而 简化 了 
模 燃 系统 的 结构 :减少 了 计算 重 . 

网 络 结构 如 图 8. 31 所 示 , 由 四 朗 功 能 不 同 的 节点 构成 . 各 层 节 点 的 输 人 输出 关系 如 下 ， 

A&A 层 : 全 一 天 一 人 





也 层 : 已 一 etT) 
C 层 ， Q= IT 
卫 层 ， 从 忌 层 选择 瓜 个 规则 


其 中 ,入 层 为 输入 层 ,也 层 实现 输 人 量 的 模糊 化 ,C 层 实现 模糊 推理 , 即 实现 模 奈 规则 前 件 的 
“与 "操作 ,输出 为 样本 对 规则 前 件 的 适合 度 . D 层 通过 所 有 学 习 样 本 对 每 条 模糊 规则 前 件 的 适 
合谋 的 大 小 ,依照 一 定 的 算法 ,从 中 选取 下 条 模 奈 规则 ,并 将 每 条 被 选取 模糊 规 风 的 前 件 存储 
在 一 个 二 维 数 组 RULES[K][ 四 中 ,其 中 ,K 为 规划 条 数 ,= 为 输入 变量 的 维 数 . 然后 计算 每 条 
裕 选 到 模糊 规则 的 后 件 , 即 规则 的 输出 值 ,并 将 其 存储 起 来 . 











玫 站 31 基于 快速 模 糙 规则 搜索 的 FNN 模型 

通常 ,一 个 学 习 样本 可 以 疝 时 适合 于 多 条 横 糊 规则 , 即 一 个 学 习 样本 启 时 为 多 条 规则 的 相 
关 样 本 . 显然 ,~ 条 模糊 规则 的 相关 样本 的 数目 越 大 ,说 明 此 闪 风 被 选取 的 概率 也 就 越 高 . 某 一 
模糊 规则 有 相关 样本 时 , 称 此 规则 为 有 效 规则 , 某 一 模糊 规则 没有 相关 样本 时 , 称 此 规则 为 无 
效 规则 - 选 歌 模 糊 规则 的 具体 算法 如 下 ， 

《1) 按 顺序 从 所 有 可 能 的 模 灶 规则 集中 政 一 模 构 规则 . 

522 分 别 计算 所 有 学 习 样本 对 此 规则 前 件 的 适合 度 请, 找 出 所 有 与 划 关 则 相关 的 样本 , 构 
成 其 相关 样本 集合 . 当 相关 样本 集合 不 为 空 集 时 ,根据 下 式 计算 此 规则 的 确定 输出 ， 


第 八 章 ”模糊 神经 网 络 与 神经 模糊 系统 ”201 





A 和 
2” 一 (1 Xfit)/ fit (8.3.7) 
气 各 


中 ,> 为 该 模糊 规则 对 应 的 输出 值 ,为 该 规则 前 件 的 学 习 样 本 的 确定 输出 值 , N 为 相关 样 
本 集合 中 的 样本 数 . 

《3) 将 此 规则 输出 > 模糊 化 . 计算 出 此 输出 对 输出 模糊 子 空 间 的 素 属 度 值 Cpua ,wa ,ms), 则 
此 模糊 规则 的 前 件 和 后 件 为 :it Xi is…and Xs is'and Xiswthen Y is smallMia yis midypa yis 
big/m， 

(4) 重 复 上 述 步 又, 直到 完成 对 所 有 可 能 模糊 规则 的 计算 . 

(5) 依 据 模糊 规则 的 相关 样本 集合 的 大 小 ,选取 一 定数 量 下 条 有 效 模 栏 规 则 ,并 将 每 条 规 
则 的 前 件 和 后 件 存储 起 来 . 

与 五 值 的 选取 相关 的 因 索 包括 :@ 输 入 变量 的 维 数 和 每 个 输入 变量 的 模糊 子 集 数目 , 即 
所 有 可 能 的 模糊 规则 数目 . @ 模 糊 系 统 本 身 的 特性 , @ 决 定 相关 样本 的 门限 = 值 的 大 小 .针对 
一 个 具体 问题 ,在 确定 了 输 和 人 维 数 和 每 个 输入 变量 的 模糊 子 集 数 后 ,该 模糊 系统 的 所 有 订 能 的 
模 棚 规则 数目 是 一 定 的 ,那么 值 越 大 , 则 所 能 得 到 的 有 效 规则 数 就 越 少 ,反之 ,ax 值 越 小 , 则 
所 能 得 到 的 有 效 模 糊 规 则 数 就 越 大 , 在 确定 了 一 个 合适 的 值 以 后 ,可 以 得 到 一 个 有 效 模糊 规 
巾 集 ,其 中 包 合 K 条 模糊 规则 . 由 于 在 上 述 规则 抽取 过 程 中 没有 网 络 权 值 的 学 习 训练 过 程 , 所 
以 此 过 程 非常 迅速 . 

二 、 基 于 快速 模糊 规则 搜索 建立 构 糊 神经 网 络 模型 

利用 上 述 快 速 模糊 规则 抽取 方法 得 到 的 有 效 模糊 规则 集 , 当 用 北 模 糊 规 则 集 所 构成 的 模糊 
系统 , 仅 是 粗略 地 反应 了 真实 系统 ,对 真实 系统 的 逼近 程度 尚 不 完全 符合 要 求 , 还 需要 对 该 模糊 
规则 集 的 输入 和 输出 的 未 属 度 函 数 , 及 各 规则 的 相对 重要 各 度 进行 进一步 的 调整 和 改进 . 因此 ， 
下 以 利用 上 还 快速 模糊 规则 抽取 方法 得 到 的 模糊 规则 集 ,建立 模糊 神经 网 络 ,考虑 采用 8. 2. 3 节 
介绍 的 模 棚 加 权 神 经 网 络 模型 (WWFNN) ,结构 如 图 8. 32 所 示 - 

































































图 8.32 基于 快速 模糊 规则 搜索 的 WFNN 模型 
A 层 为 输入 层 ,B.C 层 实 现 输入 变量 的 模糊 化 ,选用 Sigmoid 型 隶属 度 函 数 ,D\ 上 层 实现 
模糊 推理 ,D 层 实 现 模糊 规 刚 前 提 的 “与 操作 ,E 层 完成 求 和 功能 ;给 出 规则 的 输出 ,E.G 层 用 
重心 法 ?实现 解 模糊 判决 操作 . 首先 ,通过 快速 模糊 规则 搜索 方法 ,得 到 乓 条 有 效 模 糊 规 则 ， 
可 以 确定 该 模糊 神经 网 络 模型 的 D 层 节点 数 为 玉 . 其 次 ,根据 这 到 条 规则 的 前 件 部 分 ,还 可 以 
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确定 C 层 和 了 层 的 连接 方式 . 例如 ,输入 变量 的 模糊 子 集 定义 为 fsmall,mid,big} 时 , 模 燃 规 则 
玉 , 的 前 件 为 :让 Xi is small and Xis smail and X: is mid and Xis big and Xs is mid then…, 册 
对 子 了 层 第 让 个 节点 , 即 代 表 此 规则 的 节点 ,其 5 个 输入 节点 分 别 为 C 层 的 C、C:、Cr、Cu、 
Ca. 然 后 , 委 据 模糊 规则 的 后 件 部 分 ,对 权 值 驳 . 进 行 初始 化 , Ws 为 可 变 羡 值 , 杯 .、 印 .、 负 :为 可 
变 权 值 . 

基于 快速 模 燃 规则 抽取 方法 所 建立 的 模糊 神经 网 络 模型 ,由 于 其 节点 和 权 值 可 以 用 隶属 
度 函 数 和 模糊 规则 解释 ,因此 模糊 规则 集 的 输入 、 输 出 的 求 属 度 函 数 ,及 各 规则 的 相对 重要 程 
度 需 要 通过 学 习 训 练 进行 调整 和 改进 ,实质 上 就 是 寻找 合适 的 山本 . 帮 -、W 

三 、 在 金融 预测 中 的 应 用 

现在 禹 过 一 个 实际 的 股票 开盘 价 的 预测 问题 来 验证 此 方法 的 实用 性 和 有 效 性 . 实验 中 使 
用 上 海 市 1998 年 6 月 一 1998 年 12 月 的 每 日 股票 开盘 价 , 共 140 个 数据 . 用 前 5 个 数据 作为 输 
人 ,进行 预测 ,得 到 下 一 个 数据 ,这 样 连续 140 个 数据 可 以 产生 135 个 输入 输出 模式 ,以 其 中 前 
109 个 模式 作为 学 习 样 本 ,其 他 的 作为 测试 样本 , 在 本 文中 选取 mm 为 3,m= 为 5, 模 燃 规 则 的 总 
数 为 243. 首先 进行 快速 模糊 规则 的 抽取 ,得 到 82 条 规则 . 然后 基于 这 82 条 模 烤 规 则 建立 模 
焕 神 经 网 络 . 采用 遗传 算法 训练 该 模 糯 神经 网 络 ,训练 5000 代 后 ,模糊 神经 网 络 输出 结果 与 样 
本 的 输出 的 比较 如 图 8. 33 所 示 . 从 实验 结果 可 以 看 出 ,网 络 误差 在 允许 范围 内 ,可 见效 果 相 当 
理想 、 



























































图 8.33 快速 搜索 FNN 的 实测 值 与 预报 蔓 的 比较 
基于 快速 模 燃 规则 搜索 的 模糊 神经 网 络 模型 与 传统 的 穷 举 所 有 模糊 规则 的 模 焕 神经 网 络 
模型 比较 ,从 图 8. 34 可 以 看 出 ,前 者 较 之 后 者 ,不 仅 在 网 络 结构 上 更 简洁 ,而 且 其 网 络 权 值 优 
化 的 速度 快 . 原因 是 基于 快速 模 看 规则 搜索 的 模糊 神经 网 络 模型 , 下 过 快速 模糊 规则 的 接 案 ， 
凡 掉 了 一 些 在 训练 过 程 中 网 络 权 值 趋 于 零 的 规则 ,使 得 训练 速度 显著 提高 . 
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… 快速 模糊 系统 建 模 法 
8 一 传统 关 学 所 有 规则 的 PNN 
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图 8.34 快速 模 灶 系 统 建 模 与 传统 方法 的 比较 
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第 九 章 ”遗传 算法 


遗传 算法 (Genetic Algorithm,GA) 是 一 类 以 Darwin 自然 进化 论 和 Mendel 遗传 变异 理 
论 为 基础 的 求解 复杂 全 局 优化 问题 的 仿生 型 算法 , 它 是 由 美国 Holland 了 H 教授 首次 提出 的 . 
GA 基于 适 者 生存 ,优胜 劣 涩 的 进化 原则 ,对 包含 可 能 解 的 群体 反复 使 用 遗传 学 的 基本 操作 ， 
不 断 地 生成 新 的 群体 ,使 种 群 不 断 进 化 ,同时 以 全 局 并 行 搜索 技术 来 搜索 优化 群体 中 的 最 优 个 
体 , 以 求 得 满足 要 求 的 最 优 解 或 准 最 优 解 . GA 可 广泛 用 于 组 合 优化 .机 器 学 习 、 自 适应 控制 、 
规划 设计 \ 人 工 生 命 人 工 神经 网 络 训练 和 图 像 处 理 等 领域 ,是 21 世纪 有 关 智 能 计算 中 的 关键 
技术 之 一 . 本 章 简要 介绍 生物 进化 的 籽 念 ,示例 介绍 传统 遗传 等 法 的 设计 方法 利 步 双 , 简 要 介 
绍 和 遗传 算法 的 研究 历史 ,发 展现 状 , 以 及 遗传 算法 当前 研究 的 热点 与 待 解决 的 问题 . 

















$9.1 生物 进化 与 遗传 算法 的 发 展 


一 、 从 生物 进化 到 遗传 算法 

建立 在 Darwin 进化 论 和 Mendel 遗传 变异 规律 基础 上 的 现代 生物 学 认为 ,生物 进化 是 从 低 
级 向 高 级 ,从 简单 向 复杂 ,趋势 向 上 ,而 又 星 现 出 多 枝 并 进 ,多 样 化 发 展 的 演化 过 程 . 生物 进化 的 
原因 自古 至 今 有 各 种 不 同 的 解释 ,其 中 被 人 们 广泛 接受 的 是 Darwin 的 自然 选择 学 说 . 

自然 选择 学 说 认为 ,生物 要 生存 下 去 ,就 必须 进行 生存 斗争 . 生存 斗争 包括 种 内 斗争 ,种 间 斗 
争 以 及 生物 与 无 机 环境 之 间 的 斗争 . 在 生存 斗争 中 ,具有 有 利 变异 (mutation? 的 个 体 容易 存活 下 
来 ,并 且 有 更 多 的 机 会 将 有 利 变异 传 给 后 代 ; 具 有 不 利 变异 的 个 体 容易 遭 淘 洗 ,产生 后 代 的 视 会 
也 少 得 多 . 因此 ,凡是 在 生存 斗争 中 获胜 的 个 体 都 是 对 环境 适应 性 比较 强 的 . Darwin 把 这 种 在 生 
存 斗争 中 适 者 生存 ,不 适 者 淘汰 的 过 程 叫做 自然 选择 . Darwin 的 自然 选择 学 说 表明 ,遗传 和 变异 
是 决定 生物 进化 的 内 在 因素 . 遗传 是 指 父 代 与 于 代 之 间 在 性 状 上 存在 的 相似 现象 . 变异 是 指 父 代 
与 于 代 之 间 , 以 及 子 代 的 个 体 之 间 , 在 性 状 上 或 多 或 少 地 存在 的 差异 现象 . 在 生物 体内 ,遗传 和 变 
异 的 关系 十 分 密切 , 一 个 生物 体 的 遗传 性 状 往往 会 发 生变 异 , 而 变异 的 性 状 有 的 可 以 遗传 , 六 传 
能 使 生物 的 性 状 不 断 地 传送 给 后 代 , 因 此 保持 了 物种 的 特性 ,变异 能 够 使 生物 的 性 状 发 生 改 变 ， 
从 而 适应 新 的 环境 而 不 断 地 向 前 发 展 , 变异 是 生物 进化 的 根本 保证 ,生物 进化 是 遗传 与 变异 相互 
作用 的 结果 . 

生物 的 各 项 生命 活动 都 有 它 的 物质 基础 ,生物 的 遗传 和 变异 也 是 这 样 . 现代 纤 胞 遗传 学 与 
分 子 让 传 学 的 研究 表明 ,遗传 物质 的 主要 载体 是 染色 体 (chromosome) ,染色 体 主要 由 DNA 
《脱氧 核糖 核酸 ) 和 和 蛋白 质 组 成 ,其 中 DNA 又 是 最 主要 的 遗传 物质 . 基因 (gene) 是 有 遗传 效应 
的 片段 , 它 储存 闭 遗 传 信息 ,可 以 准确 地 复制 (reproduction) ,也 能 够 发 生 突变 ,并 通过 控制 蛋 
白质 揭 合 成 而 控制 生物 的 性 状 . 生物 体 自身 通过 对 基因 的 复制 和 交叉 (crossover, 即 基因 分 离 ， 
基 凋 自由 组 合 和 基因 连锁 互 换 ) 的 操作 使 其 性 状 的 遗传 得 到 选择 和 控制 同时 ,通过 基因 重组 ， 
基 凡 变异 以 及 染色 体 在 结构 和 数目 上 的 变异 产生 丰富 多 彩 的 变异 现象 . 根据 Darwin 进化 论 ， 
多 种 多 样 的 生物 之 间 所 以 能 够 适应 环境 而 得 以 生存 进化 ,是 与 上 述 的 遗传 和 变异 生命 现象 分 
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不 开 的 . 生物 的 遗传 特性 ,使 生物 界 的 物种 能 够 保持 相对 的 稳定 ,而 生物 的 变异 特性 ,使 生物 个 
体 产 生 新 的 性 状 ,决定 了 生物 体 的 多 样 性 ,以 至 于 形成 了 新 的 物种 ,推动 了 生物 的 进化 和 发 展 . 

生命 科学 与 工程 科学 的 相互 交叉 ,相互 渗透 和 相互 促进 是 近代 科学 技术 发 展 的 一 个 显著 
特点 ,而 遗传 算法 的 遵 勃 发 展 正体 现 了 科学 发 展 的 这 一 特征 和 趋势 ,和 遗 传 算法 和 人 工 神经 网 络 
都 是 将 生物 学 原理 应 用 于 科学 研究 的 仿生 学 理论 成 果 , 是 近年 来 信息 科学 ,人工 智 能 与 计算 机 
科学 的 两 大 热门 研究 领域 . 

遗传 算法 和 人 工 神经 网 络 的 产生 都 受到 了 自然 界 中 信息 处 理 方法 的 启发 ,但 其 来 源 并 不 相同 . 
人 工 神经 网 络 是 在 对 以 人 脑 为 主要 代表 的 生物 神经 系统 的 组 织 结构 和 行为 特征 进行 研究 的 基础 上 
提出 的 , 它 侧重 于 对 今 某 些 特定 功能 的 模拟 ,其 强调 大 量 神经 元 之 间 的 协同 作用 和 通过 学 习 的 方 
法 解决 问题 是 人 工 神 经 网 络 的 重要 特征 . 遗传 算法 是 从 自然 界 生物 进化 机 人 制 获得 启示 的 , 它 是 模拟 
Darwin 的 遗传 选择 和 自然 淘汰 的 生物 进化 过 程 的 计算 模型 ,由 美国 Michigan 大 学 的 Holland 本 世 
教授 于 1975 年 首先 提出 的 , Holland ] H 教授 和 他 的 研究 小 组 围绕 遗传 算法 进行 研究 的 宗 导 有 网 
个 ,一 是 抽取 和 解释 自然 系统 的 自 适 应 过 程 ,二 是 设计 具有 自然 系统 机 理 的 人 工 系 统 , 这 些 研究 无 
论 对 自然 系统 还 是 对 人 工 系统 都 是 十 分 有 意义 的 . 

科学 研究 .工程 实际 与 国民 经 济 发 展 中 的 众多 问题 可 归结 为 “ 极 大 化 效益 , 极 小 化 代 估 * 这 
类 典型 模型 . 在 人 工 智 能 领域 中 ,有 不 少 问题 需要 在 复杂 而 庞大 的 搜索 空间 中 寻找 最 优 解 或 准 
最 优 解 . 像 邮 递 员 路 径 问 题 (1SP) 和 规划 问题 等 组 合 优化 问题 就 是 典型 的 傅 子 . 在 求解 此 类 问 
题 时 , 若 不 能 利用 问题 的 国有 知识 来 缩小 搜索 空间 则 会 产生 搜索 的 组 合 爆炸 . 胃 此 ,研究 能 在 
搜索 过 程 中 自动 获取 和 积累 有 关 搜 索 空 间 的 知识 ,并 自 适应 地 控制 搜索 过 程 ,从 而 得 到 最 优 解 
或 准 最 优 解 的 通用 搜索 算法 一 直 是 令 人 卢 目 的 课题 . 遗传 算法 就 是 通过 向 自然 学 习 , 借 监生 物 
进化 机 制 求 解 问题 的 一 种 有 效 的 算法 - 它 的 主要 优点 在 于 甚 本质 上 的 并 行 性 .广泛 的 可 应 用 人 性 
《对 目标 贾 数 的 性 态 无 要 求 ,特例 可 以 没有 明确 的 表达 式 ) ,算法 的 高 度 鲁 桦 性 、 简 明 性 与 全 局 
优化 性 . 尽管 遗传 算法 本 身 在 理论 和 应 用 方法 上 仍 有 许多 待 进一步 研 究 的 问题 ,但 它 作 为 可 
草 , 有 效 的 全 局 优化 算法 ,在 组 合 优化 问题 求解 、. 自 适应 控制 .规划 设计 、 机 器 学 习 和 人 工 生命 
等 领域 的 应 用 中 已 显示 了 巨大 的 沟 力 和 诱 人 的 前 县. 

二 .遗传 茎 法 的 发 展 而 史 

遗传 算法 是 在 20 世纪 六 七 十 年 代 由 美国 Michigan 大 学 的 Holland J H 教授 及 其 学 生 和 
同事 发 展 起 来 的 . 虽然 早 在 20 世纪 50 年 代 初 期 ,就 有 研究 人 员 开 始 研究 运用 数字 计算 袖 模 拟 
生物 的 自然 遗传 与 自然 进化 过 程 , 到 20 世纪 50 年 代 来 期 ,已 有 一 些 这 方面 的 学 术 论 文 发 表 ， 
但 是 当时 从 事 这 方 轩 研 究 的 主要 是 一 些 生物 学 家 ,研究 的 目的 主要 是 为 了 更 深入 地 理解 自然 
遗传 与 自然 进化 现象 . 20 世纪 六 七 十 年 代 初 , Holland 教授 开始 认识 到 生物 的 自然 遗传 现象 与 
人 工 自 适 应 系统 行为 的 相似 性 ,他 认为 不 仅 要 研究 自 适 应 系统 ,还 要 研究 与 之 相关 的 环境 . 因 
此 他 提出 在 研究 和 设计 人 工 自 适 应 系统 时 ,可 以 借鉴 生物 自然 遗传 的 基本 原理 ,模仿 生物 自然 
遗传 的 基本 方法 . 1967 年 ,他 的 学 生 Bagley JD 在 博士 论文 中 首次 提出 “遗传 算法 (Genetic 
Algerithms) "一 词 . 此 后 ,Holland 指导 学 生 完成 了 多 篇 有 关 和 遗传 算法 研究 的 论文 , 1971 年 ， 
Holistien 及 B 在 他 的 博士 论文 中 首次 把 遗传 算法 用 于 函数 优化 . 

1975 年 是 遗传 算法 研究 历史 上 十 分 重要 的 一 年 . 这 一 年 Holland 出 版 了 他 的 著名 专著 
《自然 系统 和 人 工 系 统 的 自 适 应 光 Acdazttaiion ia Nataral and AriiFicial Systems) ,这 是 第 一 
本 系统 论述 遗传 算法 的 专著 ,因此 有 人 把 1975 年 作为 遗传 算法 的 放 生 年 . Holland 在 该 书 中 
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系统 地 阐述 了 址 传 算法 的 基本 理论 和 方法 ,并 提出 了 对 遗传 算法 的 理论 研究 和 发 展 极其 重要 
的 模式 理论 (schema theory). 该 理论 首次 确认 了 结构 重组 遗传 操作 对 于 获得 隆 并 行 性 的 重要 
性 . 直到 这 时 ,人 们 才 真正 认识 到 遗传 操作 到 底 在 干什么 ,为 什么 又 干 得 那么 出 色 , 这 对 于 以 后 
陆续 开发 出 来 的 遗传 操作 具有 不 可 估量 的 指导 作用 . 同年 ,De Jong 人 A 完 成 了 他 的 博士 论文 
《一 类 和 遗传 自 适应 系统 的 行为 分 析 }(Az Anaatysis of the Behavior of a Ciass of Genetic 4- 
capztive System ). 该 论文 所 做 的 研究 工作 ,可 看 做 是 遗传 算法 发 展 进程 中 的 一 个 里 程 碑 , 这 是 
因为 ,他 把 Holland 的 模式 理论 与 他 的 计算 实验 结合 起 来 , 尽管 De Jong 和 Hollstien 一 样 主 
要 侧重 于 函数 优化 的 应 用 研究 ,但 他 将 选择 ,交叉 和 变异 操作 进一步 完善 和 系统 化 ,同时 又 担 
出 了 诸如 代 构 (generation gap) 等 新 的 遗传 操作 技术 . 可 以 认为 ,De Jong 的 研究 工作 为 遗传 算 
法 及 其 应 用 打下 了 坚实 的 基础 ,他 所 得 出 的 许多 结论 ,迄今 仍 具有 普 训 的 指导 意义 . 

进 人 20 世纪 80 年 代 , 址 传 算法 迎 来 了 兴盛 发 展 时 期 ,无 论 是 理论 研究 还 是 应 用 研究 都 成 了 -| 
分 热门 的 课题 . 此 后 ,遗传 算法 广泛 应 用 于 各 种 复杂 系统 的 自 适应 控制 以 及 复杂 的 优化 问题 中 - 

从 20 世纪 80 年 代 开始 ,有 关 和 遗传 算法 的 研究 和 应 用 日 益 普遍 . 1985 年 ,在 美国 召开 了 第 一 
届 遗 传 算 法 国际 会 议 (International Conference on Genetic Algorithms;ICGA)> ,并 且 成 立 了 国际 遗 
传 算法 学 会 (International Society of Genetic Algorithms,ISGA) ,以 后 每 两 年 举行 -一 次. 1989 年 ， 
Holland 的 学 生 Geidberg D 眉 出 版 了 专著 《搜索 .优化 和 机 器 学 习 中 的 遗传 算法 》CGenetic Alsgo- 
所 70 齐 Search yDptiptizatiomyenid RMachine Learnaing). 该 书 总 结 了 遗传 算法 研究 的 主要 成 果 , 对 
遗传 算法 及 其 应 用 作 了 全 面 而 系统 的 论述 . 一 般 认为 ,这 一 时 期 的 遗传 算法 从 古典 阶段 发 展 到 了 
现代 阶段 ,该 书 则 莫 定 了 现代 遗传 算法 的 基础 . 在 考 洲 ,从 1990 年 开始 每 隔 一 年 举办 一 次 Parallel 
Problem Solving from Nature 学 术 会 议 , 其 中 遗传 算法 是 会 议 主要 内 容 之 一 . 此 外 ,以 遗传 算法 的 
理论 基础 为 中 心 的 学 术 会 议 还 有 Foundations of Genetic Algorithms, 该 会 也 是 从 1990 年 开始 隔 
年 吾 开 一 次 - 这 些 国际 会 议论 文集 中 反 瞻 了 遗传 算法 近 些 年 来 的 最 新 发 展 和 动向 . 1991 年 ,Da- 
Vis 上 编辑 出 版 了 4 遗传 算法 手册 }CHandiook or Gemetic Atgorithzar), 其 中 包括 了 遗传 算法 在 工 
程 技术 和 社会 生活 中 的 大 量 应 用 实 俩 . 有 关 遗 传 算法 的 学 术 论 文 也 不 断 在 Artz Ficial Jmzelzi- 
Bence Rachine 了 tarmring ,Jn formaation science，Paraliel Comaputing Genetic Progranaraizg and 已 o- 
OFauab1e MacRines ,TPR Tarsactions om JNeural NertoorRs ,JEEE Tansactions om Signaf Procesy- 
img 等 杂志 上 发 表 . 1993 年 ,MIT 出 版 社 创刊 了 新 杂志 Euofutiomary Comaztutatiom, 1997 年 ,IEEE 
叉 创 刊 了 Transactions on Euofautionary ComapretationyAdoanaced Coraputationaz Jnaiteiizgence 杂志 即 
将 发 刊 , 由 模糊 集合 创始 人 Zadeh 荆 和 教授 为 名 誉 主编 . 目前 ,关于 址 传 算法 研究 的 热潮 仍 在 持 
续 , 越 来 越 多 的 从 事 不 同 领域 的 研究 人 员 已 经 或 正在 置身 王 有 关 过 传 算法 的 研究 或 应 用 之 中 . 


$9.2 传统 遗传 算法 


遗传 算 法 是 模拟 生物 进化 过 程 的 计算 模型 ,作为 一 种 新 的 全 局 优化 搜索 算法 ,遗传 算法 以 
其 简单 通用 , 重 棒 性 强 , 送 于 并 行 处 理 以 及 应 用 范围 广 等 显著 特点 ,日 益 受 到 各 学 科研 究 人 员 
的 普遍 重视 . 

一 、\ 基 本 术语 

遗传 算法 是 生物 遗传 学 和 计算 机 科学 相互 结合 ,渗透 而 形成 的 一 种 新 的 计算 方法 . 在 遗传 
算法 中 经 常 使 用 有 关 自 然 进 化 中 的 一 些 基础 术语 . 为 了 学 习 和 应 用 遗传 算法 ,了 解 这 些 术 语 是 
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必要 的 . 

生物 的 遗传 物质 的 主要 载体 是 染色 体 , 基 因 是 控制 生物 性 状 的 遗传 物质 的 功能 单位 和 结 
构 单 位 . 若干 个 基因 组 成 染色 体 ,染色 笨 中 的 位 置 称 为 基因 座 (lecus) ,而 基因 护 取 的 值 称 为 等 
位 基因 (alleles) ,基因 和 基因 座 决 定 了 染色 体 的 特性 ,也 就 决定 了 生物 个 体 的 性 状 . 此 外 ,染色 
体 有 两 种 相应 的 表示 模式 , 即 基因 型 (genotype) 和 表现 型 (phenotype), 所 谓 表 现 卉 是 指 生物 
个 体 所 表现 出 来 的 性 状 , 而 基因 型 指 与 表现 型 密切 相关 的 基因 组 成 . 同一 种 基因 型 的 生物 个 体 
在 不 同 的 环境 条 件 下 可 以 有 不 周 的 表现 型 ,因此 表现 型 是 基因 型 与 环境 条 件 相互 作用 的 结果 . 
在 遗传 算法 中 ,染色 体 对 应 的 是 数据 或 数组 ,在 传统 遗传 算法 中 ,这 通常 是 由 一 维 的 串 (string) 
的 结构 数据 来 表现 的 . 串 中 位 置 (string Position) 对 应 上 述 的 基因 座 ,而 各 位 置 上 所 歌 的 值 对 
应 上 述 的 等 位 基因 . 遗传 算法 处 理 的 是 染色 体 ,或 者 称 为 基因 型 个 体 (individual). 一 定数 量 的 
个 体 组 成 了 群体 (population). 群体 中 个 钵 的 数目 称 为 群体 规模 (Population size) ,各 个 体 对 环 
境 的 适应 程度 称 为 适应 麻 (fitness), 

执行 遗传 算法 时 包含 两 个 必要 的 数据 转换 操作 ,一 是 表现 型 到 基因 型 的 转换 ,二 是 基因 型 
到 表现 型 的 转换 . 前 者 是 把 搜索 空间 中 的 参数 或 解 转换 成 遗传 空间 中 的 染色 体 或 个 体 , 此 过 程 
称 为 编码 (coding) 操 作 : 后 者 是 前 者 的 逆 操 作 , 称 为 译 码 (decoding) 操 作 . 

为 便于 在 以 后 学 习 和 研究 遗传 算法 时 查阅 方便 ,将 生物 遗传 学 和 遗传 算法 中 所 使 用 的 一 
些 基本 术语 的 对 应 关系 列 于 表 9. 1. 

表 纪 1 生物 遗传 学 与 遗传 算法 基础 术语 对 照 表 














生物 遗传 学 Cnatural genetics) 遗传 算法 (GA》 
巢 色 体 (chromosome7 串 (stting) ,个 体 (individuab 
基因 (gene) 特征 (feature) ,个 性 (character) 
等 位 基因 (locus) 虫 中 位 置 (string Position7 
基因 型 (genotype) 结构 (structure) 
参数 集 (parameter set》 
表现 理 (phenotype) 解码 结构 (decoded strueture 
覆 选 解 (alternative soTution》 
得 传 陷 肢 (epistasis) 非 线性 (noniinearity》 
二 、 待 统 遗 传 算法 
遗传 算法 是 具有 “生成 十 检测 ”(generate and test) 的 迭代 过 程 的 搜索 算法 ,其 基本 处 理 流 
程 如 图 9. 1 所 示 . 


遗传 算法 是 一 种 群体 型 操作 ,该 操作 以 群体 中 的 所 有 个 体 为 对 象 . 遗传 算法 的 三 个 主要 操 
作 算 于 是 选择 (selection)、 交 叉 (erossover) 和 变异 (mutation) ,它们 构成 了 所 请 遗传 操作 Cge- 
metic operation) ,使 遗传 算法 具备 了 其 他 传统 方法 所 没有 的 特性 . 

遗传 算法 中 包含 如 下 五 个 基本 要 素 : 

外 参数 编码 ; 

四 初始 群体 的 设 定 ; 
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编码 和 初始 群体 生成 
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样本 中 个 体 适应 度 的 检测 评估 


























塌 适 应 度 函 数 的 设计 ; 
迎 遗 传 操作 设计 





轧 操 作 参 数 设 定 ( 主 要 指 群体 规模 以 及 执行 遗传 操作 的 概率 等 ?. 


图 %. 1 蛋 传 算法 的 基本 流程 





这 五 个 要 素 构成 了 踪 传 算法 的 核心 内 容 ,我 们 将 在 第 十 章 对 其 作 详 细 论述 . 现在 仅 以 一 个 
简单 的 函数 极 值 求解 为 例 , 来 概述 遗传 算法 的 基本 概念 及 迁 代 过 程 . 
假定 用 址 传 算法 求 函 数 Fz) 一 z 的 最 大 值 , 设 zxE[0,31], 且 只 取 整 数值 . 表 9. 2 给 出 
了 用 过 传 算法 求解 该 问题 的 计算 过 程 和 结果 . 


表 9.2 用 遗传 算法 对 jz} 一 节 求 极 值 的 计算 流程 





初始 
群体 z 值 (无 适应 度 


过 汪 梳 中 运 应 度 实际 计 


复制 后 
配对 上 库 








串 一 新 一 代 适应 度 
坊 |( 随 符号 整 Ar(z)= 外 基 望 值 算 ( 来 自 《 坚 线 表 ， 置 (随机 群体 = 值 AD 
- =- 
号 | 和 数 ， A/ 歹 方 六 7 由 轮 ) 示 交 叉 选择 ) 
生 ) 点 ) 
荆 01101 13 了 659 个 1 有 CC 58 1 0I10TT 4 01100 2 了 4 
了 11000 24 5S76 49 1 97 衬 1100IO 13001 25 625 
Di000 3 64 0.08 0 22 和 0 111000 2 Tt1011 27 ?29 
生 10011_ 3193 361 0 31 1. 23 工 10J011 2 ]0000 16. 256 
总 和 1170 1-00 4 00 3 1754 
半 拘 293 0 25 1.00 】 39 
最 天 576， 0.49 .97 2 729 





下 面 针对 表 9. 2 中 的 各 计算 量 详细 说 明 如 下 ( 表 中 为 群体 的 平均 适应 谭 ) : 


直 编码 


由 于 遗 传 算法 不 能 直接 处 理解 空间 的 解数 据 ,所 以 必须 通过 编码 将 其 表示 成 遗传 空间 的 
基色 型 串 结构 数据 .在 表 9, 2 中 ,将 变量 > 编码 为 5 位 长 的 二 进 制 无 符号 整数 形式 . 比如 z= 


19 可 表示 为 10011 的 形式 . 
2. 初始 群体 的 形成 


由 于 遗传 算法 执行 群体 型 操作 ,所 以 必须 为 遗传 操作 准备 一 个 由 若干 个 属于 解 空间 的 初 
始 解 组 成 的 初始 群体 . 在 表 9. 2 中 取 和 群体 规模 为 《, 即 群体 由 4 个 个 体 组 成 ,每 个 个 体 通过 随 


机 方法 产生 ， 
3, 适应 度 评 佑 检测 


遗传 算法 在 搜索 进化 过 程 中 一 般 不 需要 其 他 外 部 信息 , 仅 用 评估 函数 值 来 评估 个 体 的 优 
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劣 ,并 以 此 作为 后 继 遗 传 操作 的 依据 . 评估 函数 值 又 称 做 适应 度 (fitness). 本 例 根 据 几 xz) 一 好 
来 评估 群体 中 各 个 体 . 为 了 获得 适应 度 值 , 必 须 把 基因 型 个 体 译 码 成 表现 型 个 体 , 即 搜索 空间 
中 的 解 , 比 如 01101 要 译 码 为 13， 
(01101) 一 0X2 十 1X23 十 1X 生 十 0X2 十 1X2 
一 8 十 4 十 二 
一 13 
4. 选择 (selection7 
选择 或 复制 操作 的 目的 是 从 当前 群体 中 选 出 优良 的 个 体 ,使 它们 有 机 会 作为 父 代 为 下 一 
代 繁 殖 , 判断 个 体 优 劣 的 标准 就 是 各 自 的 适应 度 值 .这 一 操作 借用 了 Darwin 适 者 生存 的 进化 
原则 , 即 个 体 适 应 度 越 高 ,其 被 选择 作为 父 代 的 机 会 就 越 多 - 选择 操作 的 实现 方式 很 多 ,这 里 采 
用 与 适应 度 值 成 正比 的 概率 方法 进行 选择 的 方式 , 即 以 
忆 -站 
”六 
作为 第 ;个 个 体 的 选择 概率 . 表 9. 2 给 出 了 选择 4 个 个 体 的 概率 ,由 此 概率 可 计算 出 每 个 个 体 
期 望 被 选择 的 次 数 . 也 可 以 采用 如 图 9. 2 所 示 的 赌 轮 (roulette wheei) 方式 来 决定 各 个 惧 的 选 
择 次 数 . 赌 轮 上 已 经 根据 各 个 体 适 应 度 值 按 比 例 进 行 了 分 配 . 表 9. 2 给 出 了 转动 赌 轮 4 次 得 到 
的 相应 的 结果 ;个体 1 和 个 体 4 各 复制 一 份 ,个 体 2 复制 2 份 ,个 体 3 不 复制 而 被 淘汰 . 这 正 是 
我 们 所 期 待 的 结果 , 即 最 优秀 的 个 体 获 得 了 最 多 的 生存 繁殖 机 会 ,最 差 的 个 体 被 淘汰 . 由 此 得 
到 的 4 份 复制 送 到 配对 库 (Cmating poclD 以 备 配 对 繁殖 ， 














图 9%.2 使 用 贱 轮 方法 的 选择 


5- 交叉 
简单 的 交叉 5 期 单 点 交叉 ?可 分 两 步 进行 :首先 对 配对 库 中 的 个 体 进行 随机 配对 ,然后 在 配 
对 个 体 中 随机 设 定 交叉 点 ,配对 个 体 彼此 交换 部 分 信息 - 如 在 表 9. 2 中 ,配对 库 中 的 个 体 2 与 
个体 工 配对 ,交叉 点 为 4, 通 过 交叉 得 到 两 个 新 的 个 体 
011011 交 叉 01100 
110010 1100E 
交叉 操作 是 遗传 算法 中 的 最 主要 的 遗传 操作 . 通过 交叉 操作 得 到 了 新 一 代 个 体 - 比较 表 
3.2 中 新 旧 群 体 ,可 以 发 现 新 群体 中 个 体 适应 度 的 平均 值 和 最 大 值 都 有 了 明星 提高 - 由 此 可 
见 , 新 群体 中 的 个 体 确实 是 朝 状 所 期 望 的 方向 进化 子 . 、 
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6. 变 蜡 

变异 操作 是 按 位 (bit) 进行 的 , 即 把 某 一 位 的 内 容 进 行 变 措 . 对 于 二 进 制 编 码 的 个 体 来 说 ， 
若 某 位 原 为 0, 则 通过 变异 操作 就 变 成 了 1, 反 之 亦 然 . 变异 操作 同样 也 是 随机 进行 的 . 一 般 而 
言 , 变 丰 概率 P。 都 取得 很 小 . 在 本 例 中 , 取 卫 。=0. 001, 由 于 群体 中 共有 20X0,. 001=0.02 位 
可 以 变异 ,这 意味 着 本 例 中 群体 内 几乎 没有 一 位 可 变异 . 变异 操作 是 十 分 微妙 的 遗传 操作 , 它 
需要 和 交叉 操作 妥善 配合 使 用 ,目的 是 挖掘 群体 中 个 体 的 多 样 性 ,克服 有 可 能 陷于 局 部 解 的 弊 
病 . 

在 本 例 的 模拟 计算 中 , 仅 通过 一 代 进化 就 使 问题 的 解 得 到 了 优化 . 由 表 9. 2 可 见 ,在 新 群 
体 中 ,最 大 值 和 平均 值 特性 都 得 到 了 改进 . 群体 的 平均 适应 度 由 293 改进 为 439, 最 大 适应 诬 
由 576 增加 到 729. 如 果 按 图 9. 1 所 示 , 进行 多 次 选 代 处 理 , 最 终 一 定 可 以 得 到 最 优 解 或 近 拟 
最 优 解 ， 

上 述 的 遗传 算法 操作 过 程 构成 了 传统 的 遗传 算法 ,有 时 也 称 为 简单 址 传 算法 (simple 
GA,SGA). SGA 的 特点 是 :四 采用 赌 轮 选择 方法 ;@@ 随 机 配对 ;@@ 采 用 单 点 交叉 ;图 群 体内 允 
许 有 相同 的 个 体 存在 . 

遗 过 上 述 简 单 例子 的 讨论 可 以 看 出 ,遗传 算法 所 依据 的 两 个 必 不 可 少 而 又 最 重要 的 操作 
《选择 和 交叉 ) 是 如 此 的 简单 可 行 , 除了 随机 数 产生 , 串 结构 复制 以 及 部 分 串 结 构 数 据 豆 换 外 ， 
似乎 没有 更 多 更 复杂 的 行为 . 


8$9.3 遗传 算法 的 特点 与 研究 课题 



































一 、 让 待 算法 的 特点 

遗传 算法 的 特点 ,可 以 从 它 和 传统 优化 方法 的 对 比 中 充分 体现 出 来 . 

在 遗传 算法 被 广泛 应 用 之 前 ,优化 问题 的 解法 主要 有 以 下 几 种 : 

(DID 解析 方法 :通过 求 目标 函数 导数 的 零点 或 一 系列 选 代 计算 过 程 来 求 最 优 解 . 一 般 来 说 ， 
若 目标 函数 连续 可 微 , 解 的 空间 方程 比较 简单 ,解析 方法 还 是 可 以 胜任 的 . 但 当 方程 组 的 变量 
较 多 时 ,无 论 解 析 求 解 还 是 迁 代 计算 都 是 难度 较 大 的 . 另外 ,对 于 如 图 9. 3 所 示 的 多 峰 函 数 极 
值 问题 ,这 类 方法 容易 陷 人 局 部 最 优 解 , 且 要 求 目 标 函数 有 较 好 的 连续 性 和 可 微 性 . 

Le 人 
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《2) 穷 举 法 :在 连续 的 有 限 搜索 空间 或 离散 的 无 限 搜索 空间 中 , 计算 并 比较 每 一 点 的 目标 
画 数值 , 求 出 最 优 解 . 该 方法 简单 易 行 , 但 当 搜索 空间 大 时 ,计算 量 的 迅速 增加 使 这 类 算法 失 
效 、 

《3 随机 搜索 方法 :这 类 算法 主要 有 Monte Cario 法 和 模拟 退火 法 . Monte Carlo 法 盲目 性 
大 ; 模 报 退 火 法 在 实际 应 用 中 较 成 功 ,但 从 一 点 到 另 一 点 的 迭代 过 程 使 多 峰 问 题 易 陷 入 忆 部 最 
优 解 , 且 计 算 量 过 大 - 

对 于 一 种 优化 算法 寻求 最 优点 不 是 惟一 目的 ,实际 经 常 退 到 的 优化 问题 中 ,更 重要 的 目标 
往往 是 进化 , 即 优化 过 程 应 该 是 一 个 不 断 改进 的 过 程 ,对 于 复杂 系统 的 优化 更 是 如 此 . 遗传 算 
法 就 是 一 种 利用 自然 选择 和 进化 思想 在 高 维 空间 中 寻 优 的 方法 , 它 不 一 定 能 寻 得 最 优 (opti- 
mal) 点 ,但 是 它 可 以 我 到 更 优 (superior 点 ,这 种 思路 与 人 类 行为 中 成 功 的 标准 是 很 相似 的 . 遗 
传 算法 在 运行 过 程 中 可 能 会 暂时 停留 在 某 些 非 最 优点 上 ,直到 变异 发 生 使 它 牙 居 到 另 一 个 更 
优点 上 . 址 传 算法 寻 优 过 程 的 一 个 重要 特点 是 它 始终 保持 整个 群体 的 进化 . 这 样 即使 某 个 体 在 
某 时 刻 志 失 了 有 用 的 特征 ,这 种 特征 也 可 能 会 被 其 他 个 体 所 保留 并 连续 发 展 下 去 . 由 于 遗传 算 
法 仅 须知 道 目 标 函 数 的 信息 ,而 不 需要 其 连续 可 微 等 要 求 ,因而 具有 广泛 的 适用 性 ,同时 它 又 
是 一 种 采用 启发 性 知识 的 智能 搜索 方法 ,所 以 往往 能 在 搜索 空间 高 度 复杂 的 问题 上 取得 比 传 
统 优化 方法 更 好 的 效果 、 ， 

与 传统 优化 方法 比较 ,遗传 算法 主要 有 以 下 几 个 特点 ; 

《1 遗传 算法 的 处 理 对 象 不 是 参数 (优化 问题 的 参 变 量 ) 本 身 , 而 是 对 参数 集 进行 了 编码 的 
个 体 . 这 种 编码 操作 ,使 得 遗传 算法 可 直接 对 结构 对 象 进 行 操作 (所 谓 结构 对 象 泛 指 集合 、 序 
列 ` 抢 阵 、 树 .图 、 链 和 表 等 各 种 一 维 或 高 维 结构 形式 ). 这 一 特点 使 得 遗传 算法 具有 广泛 的 应 用 
领域 ,例如 ， 

通过 对 连接 符 阵 的 操作 , 遗传 算法 可 用 来 对 神经 网 络 或 自动 机 的 结构 或 参数 加 以 优化 . 

通过 对 集合 的 操作 ,遗传 算法 可 实现 对 规则 集合 或 知识 库 的 精练 而 这 到 高 质量 的 机 器 学 
习 目 的 ， 

通过 对 树 结构 的 操作 ,遗传 算法 可 得 到 用 于 分 类 的 最 佳 结构 树 . 

通过 对 任务 序列 的 操作 ,遗传 算法 可 用 于 任务 规划 ,而 通过 对 操作 序列 的 处 理 ,遗传 算法 
可 自动 构造 顺序 控制 系统 . 

2? 址 传 算法 的 基本 作用 对 象 是 多 个 可 行 解 的 集合 ,而 非 单 个 可 行 解 . 它 是 采用 同时 处 理 
群体 中 多 个 个 体 的 方法 , 即 同时 对 搜索 空间 中 的 多 个 解 进行 评估 . 这 一 特点 使 遗传 算法 具有 较 
好 的 全 局 搜索 性 能 ,减少 了 陷于 局 部 优 解 的 可 能 性 . 同时 这 又 使 得 遗传 算法 本 身 具 有 良好 的 并 
行 性 . 

3) 遗传 算法 仅 用 适应 度 函数 值 来 评估 个 体 ,而 无 须 搜 索 空间 的 知识 或 其 他 辅助 信息 . 遗 
传 算法 的 适应 度 函 数 不 仅 不 受 连 续 可 徽 的 约束 ,而 且 其 定义 域 可 以 任意 设 定 . 对 适应 度 函 数 的 
人 惟一 要 求 是 ,对 于 输 人 可 计算 出 能 够 进行 比较 的 输出 . 遗传 算法 的 这 一 特点 使 它 的 应 用 范围 极 
大 拓宽 ,使 之 可 广泛 应 用 于 目标 函数 不 可 微 ,不 连续 、 非 规划 ,极其 复杂 或 无 解析 表达 式 等 类 优 
化 问题 . 

4) 遗传 算法 不 是 采用 确定 性 规则 ,而 是 采用 槛 率 的 变迁 规则 来 指导 它 的 搜索 方向 , 遗传 
算法 执行 选择 交叉 .变异 等 类 伏 生 物 进化 过 程 的 简单 随机 操作 ,具有 极 强 的 鲁 棒 人 性 需要 指 
.出 ,起 传 算法 采用 概率 仅仅 是 作为 一 种 工具 来 引导 其 搜索 过 程 朝 着 搜索 空间 的 更 优 的 解 区 域 
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移动 . 因此 尽管 看 起 来 它 是 一 种 盲目 的 搜索 方法 ,但 实际 上 有 了 明确 的 搜索 方向 、 

由 于 遗传 算法 具有 上 述 操 作 简单 . 鲁 棒 性 强 、 易 于 并 行 化 ` 整 体 优化 性 强 等 特点 ,使 得 它 在 
为 数 众 多 的 领域 得 到 了 越 来 越 广泛 的 应 用 ， 

二 .遗传 算法 的 研究 课题 

作为 一 种 搜索 算法 ,遗传 算法 的 基本 框架 已 经 形成 ,在 各 种 问题 的 求解 和 应 用 中 展现 了 它 
的 特点 和 魅力 ,同时 也 暴露 出 了 在 理论 和 应 用 技术 上 的 许多 不 足 和 缺陷 . 应 该 指出 ,尽管 不 断 
有 关 手 遗传 算法 的 各 种 新 策略 和 新 提案 提出 ,但 它们 几乎 都 是 针对 特定 的 问题 求解 而 言 的 ,对 
它们 的 评价 也 都 是 基于 对 比 实验 ,其 中 缺乏 深刻 而 具 普遍 意义 的 理论 分 析 . 正 因为 如 此 ,遗传 
算法 现 阶 段 研究 的 重点 又 回 到 了 基本 理论 的 开拓 和 深化 ,以 及 更 通用 .有 效 的 操作 技术 和 方法 
的 研究 上 . 下 而 概述 遗传 算法 现 阶段 研究 课题 的 几 个 主要 方面 . 

1 站 传 算法 收敛 性 的 研究 

遗传 算法 源 于 自然 选择 和 生物 遗传 学 ,相对 于 其 鲜明 的 生物 基础 ,遗传 算法 的 理论 基础 公 
认 是 不 完善 的 . 这 种 东 完 善 主要 表现 在 缺少 广泛 而 完整 的 有 尖 遗 传 算法 的 收 致 性 理论 , 由 于 遗 
传 操作 的 随机 性 ,使 得 人 们 难于 将 传统 的 遗传 算法 纳 人 恰当 的 便于 分 析 的 数学 模型 ,因此 使 得 
对 于 传统 的 遗传 算法 的 收敛 性 分 析 成 为 十 分 困难 的 问题 . 县 前 关于 遗传 算法 收 分 性 的 研究 都 
是 在 对 于 等 法 增加 某 些 限制 条 侍 后 得 到 的 遗传 算法 的 各 种 修正 形式 的 基础 上 进行 的 . 对 于 遗 
传 算法 收敛 人 狂 的 研究 与 应 用 研究 相 比 :可谓 甚 少 . 关于 遗传 算法 收 敏 性 的 研究 是 进化 计算 理论 
研究 的 一 个 重要 课题 , 它 对 于 改进 遍 传 算法 以 及 对 于 遗传 算法 的 应 用 研究 都 具有 重要 的 理论 
意义 和 指导 意义 .但 是 迄今 为 止 , 人 人 习 还 未 曾 得 到 一 个 关于 遗传 算法 的 完整 的 收敛 性 分 析 结 
果 . 特别 是 关于 各 种 政 进 的 遗传 算法 的 收 和 伍 速度 估计 是 当前 遗传 算法 理论 研究 中 的 一 个 难点 ， 
且 前 尚 无 任何 结果 ,这 也 是 当前 最 迫切 需要 解决 的 问题 之 一 ,因为 它 能 从 理论 上 对 遗传 算法 的 
任何 修正 形式 提供 评判 标准 ,以 指明 改进 遗传 算法 效能 的 正确 方向 . 

2. 优化 搜索 方法 的 研究 

迄今 为 止 , 优 化 问题 的 求解 仍 在 遗传 算法 研究 中 占 很 大 比重 , 谱 如 TSP 等 组 合 优化 问题 
一 直 是 遗传 算法 十 分 活跃 的 研究 课题 . 据 报道 , 遗传 算法 对 431 个 城市 的 TSP 问题 的 求解 已 
取得 最 优 解 ,对 666 个 城市 已 取得 准 最 优 解 . 尽管 遗传 算法 比 其 他 传统 搜索 方法 有 更 强 的 鲁 棱 
性 ,但 它 更 善 长 全 局 搜索 ,而 局 部 搜索 能 力 却 不 足 . 研究 发 现 , 遗 传 算法 可 以 用 极 快 的 速度 达到 
最 优 解 的 90 多 左右 ,但 要 达到 真正 的 最 优 解 则 要 花费 很 长 的 时 间 . 一 些 对 比 实验 还 表明 ,如果 
兼顾 收 伍 速度 和 解 的 品质 两 个 指标 ,单纯 的 遗传 算法 未 必 比 其 他 搜索 方法 更 优越 , 为 此 ,除了 
要 进一步 政 进 基本 理论 和 方法 外 ,还 雪 采 用 和 人 工 神经 网 络 ,模拟 退火 技术 .专家 系统 以 及 温 
沌 理论 等 其 他 方法 相 结合 的 策略 .许多 研究 结果 表明 采用 这 种 混合 模型 可 以 有 效 地 提高 遗传 
算法 的 局 部 搜索 能 力 ,从 面 进一步 改善 其 收 分 速度 和 解 的 品质 . 

3. 学 习 系 统 的 遗传 算法 研究 

基于 遗传 算法 的 机 器 学 习 是 当前 遗传 算法 研究 的 一 个 重要 内 容 . 这 一 新 的 研究 课题 把 遗 
传 算法 从 历来 离散 的 搜索 空间 的 优化 搜索 算法 扩展 到 具有 独特 的 规则 生成 功能 的 办 新 的 机 器 
学 习 算 法 , 这 一 新 的 学 习 机 制 对 于 解决 人 工 智 能 中 的 知识 获取 和 知识 优化 精练 的 瓶颈 难题 带 
来 了 希望 . 

4 遍 传 算法 的 并 行 分 布 处 理 

随 看 遗传 算法 应 用 的 深 人 发 展 ,并 行 分 布 址 传 算法 及 其 实现 的 研究 越 来 越 为 人 们 所 重视. 
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遗传 算法 由 于 执行 群体 性 操作 ,所 以 本 质 上 具有 很 好 的 并 行 分 布 处 理 特 性 . 尤其 是 遗传 算法 中 
各 个 体 的 适应 度 计算 《这 是 遗传 算法 中 最 大 的 开销 ) 可 独立 进行 丽 彼此 间 无 需 任 何 通信 ,所 以 
并 行 处 理 效率 是 很 高 的 - 但 是 ,标准 的 遗传 算法 除 适 应 度 计算 外 ,几乎 所 有 的 遗传 操作 都 是 建 
立 在 全 遍 统 计 处 理 的 基础 上 ,这 意味 着 在 整个 进化 过 程 中 ,这 种 全 局 统计 处 理 所 引 起 的 通信 天 
销 依然 是 不 可 忽视 的 . 因此 ,设计 有 效 的 并 行 遗 传 算法 及 相应 的 实现 系统 对 遗传 算法 的 理论 研 
究 和 应 用 研究 都 是 十 分 重要 而 人 迫切 的 任务 . 这 一 研究 不 仅 是 对 遗传 算法 本 身 的 发 展 而 且 对 于 
新 一 代 智 能 计算 机 体系 结构 的 研究 都 是 十 分 重要 的 . 

5. 人 工 生命 与 遗传 算法 的 研究 

近 几 年 来 ,通过 计算 机 模拟 ,再 现 种 种 生命 现象 以 达到 对 生命 更 深刻 理解 的 人 工 生命 的 研 
帘 正 在 兴起 . 人 工 生命 所 涉及 的 生命 现象 包括 生命 的 起 源 、 自 我 增殖 、 自 适应 遗传 进化 和 免疫 
等 . 遗传 算法 与 人 工 生命 这 一 盘 新 的 研究 领域 正在 不 断 渗 透 . 目前 已 有 一 些 学 者 对 生态 系统 的 
演变 、 食 物 链 的 维持 以 及 免疫 系统 的 进化 等 ,利用 遗传 算法 作 了 生动 的 模拟 , 由 于 实现 人 工 生 
命 的 手段 很 多 ,所 以 尽管 基于 遗传 算法 的 进化 模型 是 研究 人 工 生 命 的 主要 基础 理论 之 一 ,但 遗 
传 算法 在 实现 人 工 生命 中 的 基本 地 位 和 能 力 究竟 如 何 ,是 值得 研究 的 课题 . 

6 遗传 算法 和 进化 规划 、 进 化 策略 的 比较 与 结合 

进化 规划 (Evolutionary Programming,EP) 和 进化 策略 (Evolution Strategies,ES) 儿 乎 是 
和 遗传 算法 同时 独立 发 展 起 来 的 , 同 遗 传 算法 一 样 ,它们 也 是 模拟 自然 界 生 物 进化 机 制 的 智能 
计算 方法 , 既 同 遗传 算法 具有 相同 之 处 也 有 各 自 的 特点 . 进 人 20 世纪 90 年 伐 ,这 三 种 方法 才 
开始 彼此 交流 , 目前 ,关于 这 三 种 方法 之 问 的 比较 研究 和 彼此 结合 的 探讨 正在 形成 热点 . 
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遗传 算法 是 一 个 以 适应 度 ( 优 化 问题 的 目标 函数 ?为 依据 ,通过 对 群体 的 个 体 进 行踪 传 操 
作 来 实现 群体 内 个 体 结构 重组 的 迭代 处 理 过 程 .群体 中 的 个 体 在 这 一 选 代 过 程 中 ,一 代 一 代 地 
得 以 优化 并 逐步 鼻 近 最 优 解 . 遗传 算法 具有 鲜明 的 生物 学 背景 , 它 模 报 的 是 自然 界 生物 优胜 劣 
沁 的 进化 过 程 . 但 是 它 的 本 质 内 涵 是 什么 ? 它 所 依赖 的 基本 遗传 操作 , 即 选择 .交叉 和 变异 算 
子 为 什么 能 使 遗传 算法 具有 传统 优化 方法 所 不 具备 的 鲁 玉 性 、 自 适应 性 和 全 局 优化 等 特点 ? 
本 章 试图 通过 对 群体 中 个 体 的 结构 模式 的 分 析 来 回答 这 些 问 题 。 


8 10.1 模式 (Schema) 概 念 


在 第 九 章 求解 /(z) 一 必 极 值 的 例子 中 ,我 们 可 以 初步 观察 到 :群体 中 个 体 的 适应 庆 越 
高 ,其 生存 的 机 会 就 越 多 ,而 通过 交叉 操作 ,在 下 一 代 中 产生 了 适应 许 更 高 , 即 性 能 更 好 的 个 
体 . 在 由 表 9. 2 所 描述 的 两 代 进 化 过 程 中 ,第 一 代 的 最 优 个 体 (11000) 和 次 优 个 体 (10011) 经 隧 
机 配对 并 在 位 置 ? 进行 交叉 后 ,产生 了 新 的 更 优 的 个 体 (11011). 进一步 观察 则 会 发 现 , 新 的 个 
体 的 结构 模式 (11011) 与 其 父 代 个 体 (1 * *# ) 和 《Kx x #11) 的 结构 模式 之 条 似乎 有 着 某 种 
联系 :@ 它 们 的 模式 结构 有 某 种 相似 性 ;四 这 些 相似 模板 Csimilarity templates) 对 应 高 适应 度 
值 (高 子 群体 的 平均 适应 度 ). 由 此 ,可 以 得 到 一 种 感性 认识 :遗传 竺 法 在 搜索 过 程 中 一 直 在 搜 
索 群 体 中 个 体 的 某 种 重要 的 结构 相似 性 , 

为 了 描述 群体 中 个 体 结构 的 相似 性 ,从 而 揭示 和 遗传 算法 的 实质 ， 引入 了 模式 (schema) 的 
梳 念 , 模式 是 一 个 描述 字符 串 子 集 的 囊 ( 又 称 为 模板 ) ,在 该 集合 中 的 串 的 某 些 位 置 上 存在 相似 
人 性 ， 

不 失 一 般 性 ,考虑 二 值 字符 集 {0,1}, 由 可 产生 通常 的 0,1 字符 囊 . 现在 再 增加 一 个 符 导 

< ”，, 称 为 无 关 符 (don?t care) 或 通配符 , 即 “ * " 肥 可 以 被 当 向 0, 也 可 以 被 当 伏 1. 于 是 将 二 值 
字符 集 {0,1} 扩 展 到 三 值 字符 集 {0,1,x ). _ 

定义 10.1 基于 三 值 字符 集 {0,1, * } 所 产生 的 能 描述 具有 某 些 结构 相似 性 的 0,1 字符 
串 集 的 字符 串 称 为 模式 . 

让 长 度 为 5 的 串 为 例 , 模 式 * 0100 描述 了 在 位 置 2.3.4.5 具有 形式 “0100” 的 所 有 字符 
串 , 即 100100,10100} ;模式 * *0x 1 描述 了 在 位 置 3 为 0, 在 位 置 5 为 寺 的 所 有 字符 囊 ，, 即 
{00001,00011,01001,01011,10001,10011,11001,11011} ;模式 10101 描述 了 挫 有 -一 个 串 的 集 
合 {10101}. 

由 此 可 见 , 模 式 的 概念 提供 了 一 种 简洁 的 用 于 描述 在 某 些 位 塞 上 具有 于 构 相似 人 性 的 0-1 
字符 串 集合 的 方法 . 需要 指出 ,通配符 * ”只 是 一 个 描述 符 , 它 仅 仅 是 为 了 描述 上 的 方 使 而 引 
人 的 符号 ,而 并 非 址 传 操作 中 实际 的 运算 符 导 . 

模式 概念 的 引 和 ,并非 只 是 为 了 描述 上 的 方 使 . 在 引信 模式 概 念 前 ,所 看 到 的 遗传 算法 是 : 
在 某 一 代 中 ,”= 个 相互 独立 的 串 在 选择 交叉、 变异 等 遗传 算 子 作用 下 产生 下 一 代 的 ， 个 新 的 
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相互 独立 的 串 . 因为 这 些 串 都 是 相互 独立 的 , 互 不 联系 的 ,所 以 并 不 清楚 在 两 代 之 隆 究 竟 保 贸 
了 升 么 性 质 , 破 坏 了 什么 性 质 . 而 引 和 人 模式 概念 后 ,可 以 看 到 ,一 个 申 实 际 上 路 含 着 多 个 模式 ， 
而 一 个 模式 又 可 以 幅 含 在 多 个 子囊 中 . 因为 在 串 的 每 一 位 置 上 可 以 取 它 的 实际 值 或 通配符 ,所 
以 ,长 度 为 了 的 训 隐 含 着 2: 个 模式 ,规模 为 了 的 群体 隐 含 着 导 一 = 2 一 (= 一 1) 个 模式 ,其 具体 
的 横 式 数目 取决 于 群体 中 个 体 的 多 样 性 . 例如 , 串 01 隐 含 着 22 个 模式 01,0* ,xl1,* * 申 
1310 隐 含 着 2 个 模式 110,11x ,1x0,xI0ixxwyxlxy xx0yxxx3 群 体 (01,10} 隐 含 着 
7 个 模式 01,0* ,* 1,< #，10,1*，#x0, 遗 传 算法 中 串 的 运算 实际 上 是 模式 的 运算 . 因此 , 通 
过 分 析 模 式 在 遗传 操作 下 的 变化 ,就 可 以 了 解 什 么 性 质 被 延续 ,什么 性 质 被 卸 弃 ,从 而 把 握 遗 
传 算法 的 实质 . 

为 了 讨论 模式 的 运算 ,需要 了 解 模式 的 基本 性 质 . 为 此 ,下面 给 出 模式 的 两 个 重要 概念 : 模 
式 阶 (schema ordery 和 定义 长 度 Cdefining length). 

至 此 可 知 , 一 个 串 中 隐 含 着 多 个 不 同 的 模式 ,而 不 同 的 枢 式 所 匹配 的 申 ( 称 为 模式 的 样本 ) 
的 个 数 是 不 同 的 比如 模式 10* * 1* 与 1* x # xx 相 比 , 前 者 所 匹配 的 样本 的 个 数 比 后 者 
少 , 即 前 者 的 确定 性 高 . 为 了 反映 这 种 确定 性 的 差异 ,我 们 引信 模式 阶 的 概念 . 

定义 10.2 模式 五 中 的 确定 位 置 的 个 数 称 为 该 模式 的 模式 阶 , 记 为 OCT). 

例如 ,模式 1* 01 * * 的 阶 数 为 3, 而 模式 1* * * * * 的 阶 数 为 1. 显然 一 个 模式 的 阶 数 
越 高 ,其 样本 数 就 越 少 ,因此 确定 性 也 越 高 . 

但 是 模式 阶 并 不 能 反映 模式 的 所 有 人 性质. 以 后 将 会 看 到 ,即使 具有 同 阶 的 模式 ,在 遗传 操 
作 下 也 会 有 着 不 同 的 性 质 . 为 此 ,再 引入 定义 长 度 的 概念 . - 

定义 10.3 模式 妃 中 第 一 个 确定 位 置 和 最 后 一 个 确定 位 置 之 间 的 距离 称 为 该 模式 的 定 “ 
义 长 度 , 记 为 3C 五 7. 

例如 ,模式 1* 01* * 的 定义 长 度 为 3 而 1* * * x * 的 定义 长 度 为 0， 

异 式 阶 和 定义 长 度 描 述 了 模式 的 基本 性 质 . 有 了 这 两 个 概念 ,就 可 以 开始 讨论 模式 在 遗传 
操作 下 的 变化 . 











$10.2 模式 定理 


首先 讨论 选择 操作 对 模式 的 作用 . 令 A( 乡 表示 第 上 代 趾 的 群体 ,= 为 群体 规模 , 设 群体 
中 的 个 体 两 两 互 不 相同 . 以 S; G 一 1,2,…* 四 表示 一 代 中 第 了 个 个 体 串 , 设 审 的 长 度 为 二 俱 设 
在 第 上 代 ,群体 A(2 中 模式 互 所 能 匹配 的 样本 数 为 玫 , 记 为 mm( 五 ,所 , 设 选择 操作 以 概率 


Pi = -万 《10. 2. 1 








六 

后 
进行 ,其 中 户 是 个 体 S, 的 适应 度 . 不 芒 设 第 上 代 群 体 A(e) 中 模式 互 所 能 匹配 出 的 囊 为 S,, 其 
适应 度 为 六 (一 1,2…*z) * 其 中 第 守 个 溃 在 第 上 十 1 代 被 选择 的 概率 如 (10. 2. 1) 式 所 示 , 子 是 


其 在 第 * 汗 1 代 期 望 被 选择 到 的 个 数 为 mu 一 zP:- 从 而 再 在 第 :十 1 代 中 的 样本 数 mm(H,tT1) 
为 : 





斑 ( 末 民 十 1) 一 定 m 一 an 们 P， 
巧 抹 
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m( 有 Da ae 
1 ， 一 


其 中 








为 模式 互 在 第 上 代 中 所 有 样本 的 平均 适应 度 . 令 群体 平均 适应 度 为 


则 有 


zkH 汪 十 1) 一 zz( 百 , 2 





《10. 2. 2》 


《10.2. 3) 


可 见 , 模 式 的 增长 (减少 )* 即 样本 数 的 增加 (减少 ) ,依赖 于 烧 式 的 平均 适应 度 与 群体 平均 适应 
度 之 比 , 那 些 平均 适应 度 高 于 群体 平均 适应 度 的 模式 将 在 下 一 代 中 得 以 增长 ;而 那些 平均 适应 





度 低 于 群体 平均 适应 度 的 模式 将 在 下 一 代 中 减少 . 





假定 模式 妃 的 平均 适应 度 始 终 保 持 高 于 群体 平均 适应 度 , 设 高 出 部 分 为 < 广 其 中 * 为 党 








数 ,于 是 有 





CE 直 1 一 ( 析 1 翅 汉 一 mm(BBGI 十 o) 


设 二 0 开始,c 保持 常 值 , 于 是 可 得 如 下 公式 ; 


Tt( 百 ,划一 ?UK 鼠 ,0)C1 十 中 


《10,. 2. 4》 


《10. 2.5) 


由 上 式 可 见 ,在 选择 算 子 的 作用 下 ,平均 适应 弃 高 于 群体 平均 适应 度 的 模式 将 呈现 指数 级 增 





长 ,而 平均 适应 度 低 于 群体 平均 适应 度 的 模式 将 星 指数 级 减少 . 





注意 到 仅 有 选择 操作 ,并 不 能 产生 新 的 个 体 , 即 不 能 对 搜索 空间 中 新 的 区 域 进行 搜索 , 因 
此 引 和 人 了 交叉 操作 - 下 面 讨论 在 交叉 算 子 作用 下 模式 的 变化 , 仅 考虑 单 点 交叉 的 情形 . 
为 了 考察 在 交叉 算 子 作用 下 , 包 些 模式 爱 影响 ,哪些 模式 没有 受到 影响 ,不 妨 考 趾 一 个 长 





度 为 7 的 串 以 及 隐 含 于 其 中 的 两 个 模式 : 
S=011 
再 一 * 十 * 


也 [ov 


很 定 S 被 选中 进行 交叉 , 面 交 叉 点 等 概率 产生 , 即 交 叉 点 落 在 1.2、3\4.5,.6 的 概率 相同 .不妨 
假设 交叉 点 为 3, 即 交叉 发 生 在 位 置 3 和 位 置 4 之 问 , 并 以 分 割 符 “|” 表 示 交 叉 位 置 , 即 


SS 一 01111000 
有 一 1 
再 一头 共 | 1 0 其 全 


此 时 与 S 进行 交叉 的 串 ( 称 做 珑 偶 ) 除 了 在 模式 的 确定 位 与 S 相同 (暂且 不 考虑 这 种 可 能 
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性 ) 者 外 , 筑 式 于 ,将 遭 到 破坏 . 因为 位 置 2 的 “1” 和 位 置 7 的 “0? 在 交叉 产生 的 子 代 个 体 中 将 被 
替代 为 不 同 的 值 . 例如 ,S 的 配偶 为 S =1000111, 则 产生 的 后 代 个 体 为 S: 一 0110111, S: 一 
1001000 ,它们 都 不 是 妃 ; 的 样本 , 即 在 交叉 操作 后 ,模式 九 ; 委 失 了 . 而 此 时 扎 *: 的 样本 却 仍 然 
存在 . 实际 上 无 论 S 的 配偶 为 何 种 串 , 妃 :中 确定 位 4 的 “1" 和 确定 位 5 的 “0? 都 将 一 起 传人 子 
代 . 当然 ,如 果 交 叉 点 在 位 置 4, 那 么 睛 ?也 会 草 到 破坏 . 由 此 例 不 难看 出 ,由 于 交叉 点 等 概率 产 
生 , 模 式 妃 ;, 遭 破坏 的 概率 (在 位 署 2,3,4,5,6 交叉 都 坦 破 坏 ) 远 远 超过 模式 互 : 遭 破坏 的 概率 
《只 在 位 置 4 交叉 遭 破 坏 ), 即 妃 : 的 生存 能 力 要 强 子 五; . 

为 了 定量 化 上 述 观 察 ,注意 到 模式 百 , 的 定义 长 度 为 8C 瑟 ) 一 5. 当 交 叉 点 在 ! 一 1 一 7 一 1 
二 6 个 位 置 上 等 概率 随机 产生 时 ,模式 妃 , 遭 破坏 的 概率 为 Pv 一 8CBi)ACG 一 1) 一 5/6, 即 其 生 
存 概率 为 P, 一 1 一 Pu 一 1/6, 而 模式 妃 : 的 定义 长 度 为 SCH:) 一 1, 其 遭 破 坏 的 概率 为 P, 一 8 
《3:)7G 一 1 一 17/6, 其 生存 概率 为 已 ,一 1 一 PJ 一 5/6. 

一 般 来 说 ,模式 二 只 有 当 交叉 点 落 在 定义 长 度 之 外 才能 得 以 生存 . 在 单 点 交叉 下 ， 瑟 的 
生存 概率 已 ,一 1 一 SCH)V7C 一 1). 注意 到 交叉 本 身 也 是 以 一 定 的 概率 P. 发 生 的 ,因此 模式 王 
的 生存 概率 为 忆 , 一 1 一 PSCEH)ACG 一 1)， 

现在 考虑 先前 暂且 忽略 的 可 能 性 , 即 交 叉 发 生 在 定义 长 度 内 , 弄 式 妃 不 被 破坏 的 可 能 性 ， 
在 上 面 的 例子 中 ,如 果 S 的 配偶 在 位 置 2.7 上 有 一 位 与 S 相同 , 则 九 , 将 被 保 国 . 由 此 可 见 , 上 
而 给 出 的 生存 概率 只 是 一 个 下 界 , 即 考虑 到 各 种 可 能 性 ,应 有 


PP > 1 一 已 久生 (10.2.6) 
此 式 描 述 了 五 在 交叉 算 子 作用 下 的 生存 概率 . 


下 面 考虑 模式 如 在 选择 和 交叉 算 子 的 共同 作用 下 的 变化 . 参照 (10. 2. 3) 式 和 (10.2.6) 
式 , 有 

















和 rz( 理 涉 十 1) 一 和 a( 且 ) LpP， 3 


zi《( 肌 ,四 42 一 P. 全 ] 《10.2.7) 


由 (10. 2. 7) 式 可 见 , 在 选择 和 交叉 算 子 的 共同 作用 下 ,模式 的 增长 取决 于 两 个 因素 :模式 的 平 
均 适 应 度 是 否 高 于 群体 平均 适应 度 ; 模 式 是 否 具有 短 定义 长 度 . 参半 (10. 2. 5) 式 ,高 于 群体 平 
均 遭 应 度 且 具有 短 定义 长 度 的 模式 将 星 指数 级 增长 

最 后 ,考虑 变异 操作 . 设 串 的 某 一 位 置 发 生变 异 的 概率 为 P。 ,于 是 该 位 置 不 变 的 概率 为 1 
一 Po :而 模式 妃 在 变异 算 子 作用 下 若 不 受 破 坏 , 则 其 中 所 有 的 确定 位 置 (为 0 或 工 的 位 ) 必 须 
保持 不 变 , 因 此 互 保持 不 变 的 概率 为 (1 一 P。)cm , 当 PP 充分 小 CP.eI1) 时 ,模式 五 在 变异 算 
子 作 用 下 的 生存 概率 为 

了 ,一 (1 一 Po)cm 1 一 OC)P。 《10- 2.8) 

由 此 得 到 ,和 模式 妃 在 遗传 算 子 选 择 . 交 叉 和 变异 的 共同 作用 下 ,其 于 代 的 样本 数 为 


PC 二 减 ma 及 区 号 人 P. 双 全 )a OCDP。) 一 





7 于 鸭 22n 一 PP 加 -omP +PeEDocDP.]> -> 


和 ro( 且 , 0D-P oupP.] 《10.2.97 
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上 式 中 忽 聊 了 二 阶 小 量 P. 92OCH)P。. 通过 此 式 ,可 以 得 到 以 下 模式 定理 ， 


定理 10. 4 模式 定理 ?在 遗传 算 子 选择 .交叉 和 变异 的 作用 下 ,具有 低 阶 \ 短 定义 长 度 并 且 
平均 适应 度 高 于 群体 平均 适应 度 的 模式 在 子 代 中 将 得 以 指数 级 增长 . 

模 江 定 理 给 册 了 经 过 遗传 算 子 作用 后 , 某 一 模式 的 样本 在 下 一 代 中 得 以 生存 的 数目 的 下 
界 , 它 是 遗传 算法 的 理论 基础 . 为 了 更 好 地 理解 该 定理 ,通过 一 个 例子 来 分 析 遗 传 算法 对 模式 
的 处 理 情况 . 仍 采用 上 一 章 中 的 求 A(z)= 极 值 的 例子 ,初始 群体 的 选择 以 及 执行 遗传 操作 
的 计算 流程 参见 上 章 表 9. 2. 

考察 3 个 模式 :了 一 1* * x x ,再 :一 *10x xy 83 一 1x x *0 的 运行 情况 .有 关 遗 传 算 
法 对 模式 的 处 理 见 表 10. 
表 10.1 遗传 算法 求 /z)} 一 字 极 值 的 模式 处 理 

选择 前 选择 后 下 一 代 


模式 平均 适 
串 代 表 度 度 FCED 期 望 个 数 实际 个 数 中 代 表 期 望 个 数 实 奈 个 数 申 代 表 


开 ) 工交 人 2 468.5 3.20 3 2,.3.4 3.20 3 3 性 











了 3 320 2.18 2 23 1164 2 2,3 
了 lexv0 2 576 197 2 23 0.9 1 4 
首先 ,考察 模式 瑟 在 遗传 操作 下 的 变化 . 在 选择 阶段 ,各 串 按照 其 适应 度 在 群体 适应 度 中 所 
占 的 比例 进行 复制 . 由 表 9. 2 可 见 , 只 有 率 2,4 是 环 的 样本 ,由 于 串 2 的 适应 度 大 ,其 复制 概率 
高 ,经 过 选择 被 复制 成 2 份 ,而 串 4 被 复 制 成 1 份 , 即 通过 选择 操作 后 , 于 的 样本 增 至 3. 由 模式 


定 吾 ,区 式 也 理论 上 应 有 耿 攻 个 翌 本 ,其 中 所 ?一 2 计 2 一 468.5, 而 了 一 293, 因 此 成 











在 选择 算 子 作用 下 应 有 mm( 有,t 十 D 一 2 . 多 335 一 3. 2<z3 个 样本 ,这 与 实际 遗传 操作 相符 . 进 一 


步 观 察 则 可 以 看 到 ,由 于 也 的 定义 长 度 为 0, 所 以 交叉 操作 对 克 的 样本 没有 影响 . 而 对 于 变异 抬 
作 , 在 变异 概率 为 P。=0. 001 的 情况 下 ,于 , 的 3 个 样本 章 到 破 乐 的 概率 为 0. 003, 可 以 认为 不 发 
生变 异 , 由 表 9.2 可 见 , 子 代 中 有 3 个 丽 的 样本 11001,11011,10000, 即 模式 如 的 样本 数 确实 像 
模式 定理 所 预计 的 旦 指数 级 增长 . 

下 面 再 来 考察 模式 于 和 再 * 的 变化 , 五? 的 初始 样本 数 为 2 ,在 选择 作用 于 ,样本 数 仍 为 2. 


这 与 模式 定理 所 预计 的 3 。 让 9 一 2. 18<<2 一 至 .而 模式 及 ,的 初始 样本 数 为 1 ,预期 值 为 1 。 





吴 -1.97~*2, 与 实际 值 相符 , 最 后 来 看 交叉 操作 ,尽管 瑟 : 和 瑟 , 的 阶 数 相同 ,选择 后 的 样本 
数 也 相同 ,但 由 于 两 个 模式 的 定义 长 度 不 同 ,所 以 在 交叉 算 子 作用 下 的 结果 也 不 同 . 对 于 如 


由 模式 定理 ,其 预期 值 应 为 mm 人 有:,z 十 1 一 2.18X (= 二 = 64<“2. 实际 上 ,最 终 妞 :的 两 个 


样本 都 得 以 保留 . 而 对 子 互 : ,其 预期 值 为 mm( 瑟 ,rz 十 1) 一 1- 97X (二 )=0. 但 事实 上 ,有 


一 个 样本 得 以 保留 . 这 似乎 与 模式 定理 不 相符 合 ,但 注意 到 模式 定理 给 出 的 只 是 模式 的 样本 在 
下 一 代 中 得 以 生存 的 于 界 . 事实 上 , 克 :之 所 以 有 一 个 样本 能 生存 ,是 因为 瑟 ; 的 样本 11000 与 
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其 配偶 10011， 在 妃 : 的 确定 位 (位 置 1.5) 有 一 位 相同 . 对 百 : 和 瑟 : 的 考察 结果 表明 ,由 于 瑟 : 具 


有 较 短 的 定义 长 度 , 所 以 其 生命 力 强 于 五 2. 
笃 此 ,我 们 通过 一 个 例子 验证 了 模式 定理 的 正确 性 .在 遗传 算 子 作用 下 ,具有 低 阶 、 短 定义 


长 度 .高 平均 适应 度 的 模式 得 以 指数 级 增长 - 
8$ 10.3 关于 模式 定理 的 讨论 











模式 定理 是 遗传 算法 的 重要 理论 基础 之 一 ,但 是 这 一 定理 只 给 出 了 经 过 和 遗传 算 子 作用 后 ， 
某 一 模式 在 下 一 代 中 得 以 生存 的 样本 数目 的 下 界 ((10, 2. 9? 式 ), 当 仅 有 选择 算 子 作用 时 ,模式 
定理 星 (10, 2. 3) 式 的 等 式 形式 ,模式 定理 由 等 式 变 成 不 等 式 (10. 2. 9) 的 原因 是 交叉 和 变异 运 
算 . 本 节 讨 论 变 异 运 算 使 模式 定理 由 等 式 变 成 不 等 式 的 原因 ,给 出 在 选择 和 变异 算 子 作用 下 模 
式 定 理 的 精确 表达 式 , 并 从 理论 上 证 明 选 择 算 子 可 以 使 整个 群体 中 个 体 的 质量 得 以 改进 , 

对 于 给 定 的 模式 五, 其 在 第 上 代 的 群体 4 中 的 样本 数 为 (五 ,六 ,经 选择 运算 后 ,五 的 


样本 数 变 为 mm(H,DDA ,再 经 过 变异 笑 算 , 将 人 五 的 村 些 样本 变 为 不 属于 模式 五 的 个 体 ， 
记 这 样 的 个 体 数 为 ze* 同 时 变异 操作 也 会 使 某 些 原 来 不 属于 互 的 个 体 变 为 模式 五 的 样本 ， 
记 这 样 的 个 体 数 为 me, 于 是 有 
meDTmCHD 人 一 w+ 《10. 3.1) 
如 果 mu ,ms 可 以 求 得 , 则 (10. 3. 1) 趟 便 给 出 了 在 选择 利 变 异 作用 下 的 模式 定理 的 精确 表 
达 式 . 为 了 便于 与 具有 不 等 式 形式 的 模式 定理 相 比 较 ,在 (10. 2. 9) 式 中 令 P. 一 0, 得 
CEeTDZmCED 人 各 noUDP.] 《10.3. 2) 








上 式 忽视 了 me 项 , 即 忽视 了 从 变异 运算 中 得 到 的 使 原来 不 属于 五 的 个 体 变 为 媚 样本 的 
那 部 分 个 体 , 从 而 仅 给 出 了 和 。( 刀 ,t 十 1) 的 下 界 ， 

下 而 讨论 关于 urne 的 计算 . 当 变异 算 子 以 概率 P。 作用 子 一 个 个 体 时 ,也 就 是 以 P。 为 
概率 相互 无 关 地 作用 于 该 个 体 的 每 个 字符 . 设 3) 是 第 上 代 群 体 中 的 一 个 个 体 ,其 在 群体 中 所 
占 的 比例 为 Ri , 当 S, 是 模式 五 的 样本 (以 下 简 记 为 8 E 五) 时 ,经 过 变异 操作 下 能 使 其 变 成 
与 扣 有 不 同 模式 (以 下 简 记 为 华丽) 的 个 体 的 概率 为 


orm 


PCpm PC 一 PDT (10.3.3) 
而 群体 中 所 有 与 五 具有 相同 模式 的 个 体 所 占 的 比例 为 >，Ri ,因此 经 变异 运算 后 鼠 中 的 样 
本 
本 被 焉 少 的 概率 为 


oem 
PP 一 2 [Co PE 一 Pom-] Ri 《10. 3.4) 


了 BE 
对 于 SS 人 五 ,经 过 变异 后 可 能 变 成 SiE 百 ,下 而 计算 这 个 概率 值 . 设 个 体 Si; @ 瑟 , 且 有 位 
与 五 不 同 , 于 是 变异 后 S; E 五 的 概率 为 
Po 一 乓 (一 P)0 一 《10. 3.5) 
所 以 经 过 变异 运算 ,从 群体 中 的 其 他 个 体 ( 原 不 属于 妞 的 个 体 ) 获 得 的 与 抚 具有 根 同 模式 的 
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个 体 的 梳 率 为 
op 
Pae 一 >) [PC1 一 Pa)o00- 下 中 《10. 3, 6) 
4=1 中 相生 2 有 LS) 瑟 且 有 位 不 同 


从 而 经 选择 和 变异 操作 后 ,失去 与 获得 的 模式 如 的 样本 数 分 别 为 
zs 一 r( 百 , 引 2 


(10.3.7) 
ms 一 me( 百 , 2 


将 其 代 人 《10. 3. 1) 式 , 即 得 到 在 选择 和 变异 算 子 作用 下 模式 定理 的 精确 表达 式 。 

正面 笨 用 仅 有 选择 算 子 作用 的 模式 定理 (10, 2. 3) 式 来 讨论 遗传 算法 的 平均 适应 度 的 渐 近 
行为 ,以 便于 进一步 理解 选择 算 子 在 遗传 算法 中 所 起 的 重要 作用 . 

设 王 为 所 求 优化 间 题 的 可 行 域 ,7(S) 为 适应 度 画 数 , 旦 0< FS) 到 十 co, 并 令 


B, = (SeEF,FCS) 32 太 } (10.3.8) 

















- 袜 AKsGo) 
其 中 /= 党 为 第 : 代 群 体 的 平均 适应 度 , 子 是 有 下 述 结论 成 立 ， 

定理 10.5 若 选 择 过 程 没有 随机 误差 , 则 在 第 上代 ,选择 运算 后 的 任 一 个 体 St 属于 有 
的 概率 高 于 选择 前 的 任 一 个 体 S(z 属 于 B, 的 概率 , 即 

P(S' (De 且 )22P(CSCDD 和 EBD) (10. 3.9) 

证 明 : 设 18.1 和 |8 ,| 分 别 表示 选择 前 后 B, 中 包含 的 个 体 的 数目 ,将 选择 后 妃 中 的 个 体 
按照 模式 分 为 es 类 . 由 于 选择 过 程 中 没有 新 的 个 体 生成 ,所 以 这 es 类 模式 在 选择 前 已 存在 ,以 
再 ( 攻 ， 瑞 : (D，… ,再 ,人 记 之 ,并 设 它们 在 选择 前 后 的 样本 数 分 别 为 zi( 百 ) 和 mi(BD)CG 一 1， 
2，…，9)- 由 于 选择 过 程 没有 随机 误差 ,日 0<.A(S)<< 十 co ,所 以 选择 前 后 集合 B, 中 的 模式 类 
完全 相同 . 于 是 利用 模式 定理 (10.2. 3) 式 和 已 的 定义 ,有 


PCSCD E BDI) 一 [|- PC - 工 六 maCHD) ED > 
全 万 

















二 mwCHD) = 1- Ps E Ba) 《10. 3. 10) 
这 一 结果 表明 ,集合 甩 中 的 点 的 概率 密度 逐渐 增加 . 


310.4 隐 并 行 性 


由 10. 1 和 10. 2 节 的 讨论 可 知 ,遗传 算法 实质 上 是 对 模式 的 运算 . 一 个 长 度 为 了 的 中 ,其 
中 隆 含 着 2: 个 模式 . 若 群体 规模 为 ", 则 其 中 隐 仿 的 模式 个 数 介 于 2 和 ?2 .2 一 (an 一 1 之 间 。 
显然 ,由 于 交叉 操作 的 作用 ,并 非 所 有 的 模式 都 能 高 概率 地 处 理 ,因为 一 些 具有 较 长 的 定义 长 
度 的 模式 将 适 到 破坏 . 本 节 讨 论 遗 传 算法 能 够 有 效 处 理 的 模式 个 数 的 下 界 . 

Holland 和 Goldberg 指出 ,遗传 算法 有 效 处 理 的 模式 个 数 为 O(m). 这 意味 着 ,尽管 遗传 
算法 每 一 代 只 对 = 个 个 体 进行 运算 ,但 却 隐 含 地 处 理 了 OKna) 个 模式 . Holland 命名 这 一 性 质 
为 隐 并 行 性 (impiicit parallelism). 下 面 来 分 析 ,推导 这 一 结论 . 
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设 群体 由 ?个 长 度 为 ! 的 串 构 成 . 只 考虑 那些 生存 概率 大 于 已 ,(P, 为 一 常数 ?的 模式 , 即 
在 单 点 交叉 和 低 概率 变异 情况 下 ,那些 释 失 概率 为 P,<1 一 忆 的 模式 . 为 此 ,考虑 那些 定义 长 
度 <P,(t 一 1) 十 1 的 模式 . 

为 便于 说 明 ,不 妨 看 一 个 例子 ,假设 票 计算 定义 长 度 小 于 一 5 的 隐 含 在 下 面 长 度 1 一 10 
的 串 1011100010 中 的 模式 . 

首先 ,计算 前 5 个 位 置 揭 模 式 数 , 即 计算 1011100010 的 模式 数 . 由 于 第 5 位 是 固定 的 ,所 
以 实际 上 是 计算 下 列 模式 中 上品 外 1* * * :* = 的 个 数 , 其 中 "x ?为 无 关 符 ,外 " 既 可 
以 代表 确定 值 C0 或 1) ,也 可 以 代表 “* ”. 因为 有 上 一 1 一 4 个 位 置 可 以 被 确定 或 取 无 关 符 ,所 
雯 这 样 的 模式 数 为 2 一 一 16. 为 了 计算 整个 串 中 定义 长 度 小 于 已 =5 这 类 模式 ,将 上 面 串 的 底 
线 向 右 平移 一 位 , 即 1 011100010, 依 次 将 串 的 底线 向 右 平移 ;一 上 十 1 一 10 一 5 十 1 一 6 次 , 即 完 
成 了 对 于 这 类 模式 数 的 计算 、 

一 般 地 ,对 于 长 度 为 的 串 , 计 算 定义 长 度 小 于 上 的 模式 数 , 逢 将 上 述 底线 向 右 平移 ?一 
十 1 次 . 由 此 得 出 ,对 于 一 个 长 度 为 了 的 串 ,定义 长 度 小 于 忆 的 模式 数 为 24 -1 (一 5 十 1 车 
群体 规模 为 *, 则 此 类 模式 总 数 为 z。 2 ，([ 一 志士 1). 显然 ,这 个 结论 在 群体 规模 较 大 的 情 
襄 下 存在 闭 对 于 低 阶 模式 的 重复 记 数 的 问题 . 

为 了 使 模式 数 的 估计 更 准确 , 取 群 体 规 模 zx 一世 . 按照 这 种 选取 方式 ,希望 对 于 阶 数 高 于 或 等 


于 地 的 模式 最 多 只 计数 -次 . 考虑 到 模式 数 下 的 分 布 呈 一 项 式 分 布 ,因此 阶 教育 于 专 的 模式 与 低 于 





























六 的 模式 的 数目 大 致 相等 ,各 占 一 半 . 如 果 只 考虑 高 阶 的 部 分 , 则 模式 数 的 下 界 为 





7 六 2 人 一 瑟 十 1) 。20 《10,. 4.1) 
考虑 到 已 将 群体 规模 限制 为 "一 2“ ,于 是 有 
站 十 DD 于 (0.4.27 








即 有 闷 一 cm 一 OG ) ,其 中 < 为 常数 . 由 此 得 出 结论 :遗传 算法 有 效 处 理 的 模式 总 数 正比 于 群 
体 规 模 的 立方 , 即 其 阶 为 到. 

由 以 上 推导 可 见 , 尽 管 具有 高 阶 \ 长 定义 长 度 的 模式 在 交叉 和 变异 算 子 作用 下 这 到 破坏 ， 
遗传 算法 在 处 理 相对 小 数目 的 捉 时 ,仍然 隐 含 地 处 理 了 大 量 的 模式 . 


8 10.5 积木 块 假说 


由 10. 2 节 的 模式 定理 可 知 ,具有 低 阶 、 短 定义 长 度 和 平均 适应 麻 高 于 群体 平均 适应 度 的 
模式 在 于 代 中 将 以 指数 级 增长 . 由 于 这 类 模式 在 遗传 算法 中 起 卷 非 常 重要 的 作用 ,所 以 HolL- 
land 给 了 它们 一 个 特别 的 名 称 : 积木 块 (building block). 

定义 10.6 ”具有 低 阶 、 短 定义 长 度 和 高 平均 适应 度 的 模式 称 为 积木 块 ， 

假设 10.4 《积木 块 假设 buitding block hypothesis) : 低 阶 、 短 定义 长 度 、 高 平均 适应 度 的 
模式 《积木 块 ), 在 遗传 算 于 作用 下 ,相互 结合 ,能 生成 高 阶 ,长 定义 长 记 、 高 平均 适应 度 的 模式 ， 
并 可 能 最终 生成 全 局 最 优 解 . 

10. 2 节 的 模式 定理 保证 了 较 优 的 模式 (遗传 算法 的 较 优 解 ) 的 样本 数 呈 指数 级 增长 ,从 而 
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满足 了 寻找 最 优 解 的 必要 条 件 , 即 遗传 算法 存在 着 搜寻 到 最 优 解 的 可 能 性 , 本 节 的 积木 块 假设 
则 指出 ,遗传 算法 具备 寻找 到 全 局 最 优 解 的 能 力 , 即 积木 扎 在 遗传 算 子 作用 下 相互 拼 措 、 结 合 ， 


能 生成 高 阶 .长 定义 长 度 . 高 平均 适应 度 的 模式 ,最 终生 成 全 局 最 优 解 . 


但 是 , 令 人 遗 域 的 是 上 述 结论 并 没有 得 到 证 明 , 它 之 所 以 被 称 为 假设 而 非 定理 正 缘 于 此 . 
目前 已 有 大 基 的 实践 证 据 支 持 这 一 假设 ,大 量 的 遗传 算法 应 用 事例 都 表明 ,积木 块 假设 在 许多 
领域 都 获得 了 成 功 ,例如 平滑 单 峰 问 题 , 带 于 扰 多 峰 问题 以 及 组 合 优化 问题 等 . 尽管 大 量 的 实 
验证 据 并 不 等 于 理论 证 明 , 但 至 少 可 以 确信 ,对 于 我 们 通常 碰 到 的 许多 问题 ,得 传 算法 都 是 适 














用 的 和 有 效 的 . 
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第 十 一 章 ”遗传 算法 的 实现 技术 


遗传 算法 的 实现 涉及 到 第 九 章 所 述 的 五 个 要 素 , 即 参数 编码 ,初始 群体 的 设计 ,适应 度 画 
数 的 设计 ,遗传 操作 设计 和 控制 参数 的 设计 . 每 个 要 夫 对 应 不 同 的 环境 ,存在 各 种 相应 的 设计 
策略 和 方法 ,而 不 同 的 策略 和 方法 决定 了 相应 的 遗传 算法 具有 不 同 的 性 能 或 特征 . 本 章 着 重 介 
绍 传统 遗传 算法 的 常规 实现 技术 . 

















811.1 编 码 


遗传 算法 主要 是 通过 遗传 操作 对 群体 中 具有 某 种 结构 形式 的 个 体 施行 结构 重组 处 理 , 从 
而 不 断 搜 索 出 群体 中 个 体 之 间 的 结构 相似 性 ,形成 优化 并 组 合 积木 块 ,以 逐渐 逼近 最 优 解 , 由 
此 再见 , 造 传 算法 不 能 直接 处 理 问 题 空 间 的 参数 ,必须 把 这 些 参数 转换 成 遗传 空间 的 由 基因 按 
一 定 结构 组 成 的 染色 体 或 个 体 ,这 一 转换 操作 就 称 为 编码 . 

一 般 来 说 ,由 于 遗传 算法 的 重 棒 性 , 它 对 编码 的 要 求 并 不 苘 刻 - 实际 上 ,大 多 数 问题 都 可 以 
采用 前 两 章 所 见 过 的 基因 旦 一 维 排列 的 染色 体 玫 现形 式 ,尤其 是 基于 {0,1} 符 导 集 的 二 值 编码 
形式 . 但 是 做 要 指出 ,编码 的 策略 或 方法 对 于 遗传 操作 ,尤其 是 对 于 交 又 操作 的 功能 有 很 大 影 
响 .在 很 多 情况 下 ,编码 形式 也 就 决定 了 交叉 操作 ,编码 策略 和 交叉 策略 是 互 为 依存 的 , 因此 ， 
作为 遗传 算法 流程 中 第 一 步 的 编码 技术 .是 遗传 算法 理论 与 应 用 研究 中 需要 认真 考 赚 的 课题. 

首先 简要 介绍 苛 题 空间 和 GA 空间 的 概念 . 问题 空间 是 指 由 GA 表现 型 个 体 ( 有 效 的 候选 
解 ) 集 所 组 成 的 空间 ,GA 空间 是 指 由 基因 型 个 杂 (染色 体 ? 集 所 组 成 的 空间 - 

定义 141 由 问题 空间 向 GA 空间 的 号 射 ( 即 由 表现 型 向 基因 型 的 映射 ) 称 为 编码 (cod- 
ing) ,而 由 GA 空间 向 问题 空间 的 道 映 射 ( 即 由 基因 型 向 表现 型 的 递 映 射 ) 称 为 译 码 (decoding). 

如 果 编 码 ( 包 括 译 码 ) 和 交叉 处 理 不 当 , 在 GA 空间 中 因 交 叉 而 生成 的 个 体 道观 射 到 问题 
空间 时 ,有 可 能 成 为 无 用 解 , 称 形成 无 用 解 的 染色 体 为 致死 基因 . 为 避免 致死 基因 的 出 现 , 缩 码 
可 以 发 挥 一 定 的 作用 . 

下 而 酸 述 编码 评估 规范 和 编码 原理 . 评估 编 玛 策略 常 采用 以 下 三 个 规范 

5) 完备 性 (completeness) :问题 空间 中 的 所 有 点 (候选 解 ) 都 能 作为 GA 空间 中 的 点 ( 染 
色 体 表现. 

2) 健全 性 (soundness) :GA 空间 中 的 染色 体能 对 应 所 有 问题 空间 中 的 候选 解 . 

《3) 非 元 余 性 Cnonredundancy) :染色 体 和 候选 解 一 一 对 羔 . 

这 三 个 评估 规范 是 独立 于 问题 领域 的 普 遗 准则 . 对 于 某 个 具体 的 应 用 领域 来 说 ,应 该 客观 
地 比较 和 评估 该 问题 领域 中 所 用 的 编码 方法 . 应 该 指出 ,严格 满足 上 述 规范 的 编码 方法 和 提高 
遗传 算法 的 效率 并 没有 直接 的 必然 的 关系 . 在 有 些 问 题 中 ,多 许 生成 致死 基因 的 编码 ,尽管 这 
样 会 导致 元 余 的 搜索 ,但 总 的 计算 量 可 能 反而 减少 ,从 而 可 以 更 有 效 地 获得 最 优 解 . 

上 述 三 个 编码 评估 规范 虽然 带 有 普 遗 意义 ,但 催 乏 具体 的 指导 刺 想 ,可 操作 性 较 差 . De 
Jong 提出 了 称 之 为 编码 原理 的 较为 客观 明确 的 编码 评估 准则 . 由 于 其 可 操作 性 较 好 , 常 称 之 
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为 编码 规则 . 它 包括 如 下 两 条 规则 

《12 有 意义 积木 块 编码 规则 :所 定编 码 应 当 易 于 生成 与 所 求 问题 相关 的 短 定义 长 度 和 低 阶 
的 积 本 块 . 

2 最 小 字符 集 编码 规则 :所 定编 码 应 采用 最 小 字符 集 以 使 问题 得 到 自然 的 麦 示 或 描述 . 

规则 (1) 是 基于 模式 定理 和 积木 块 假设 提出 的 . 从 应 用 的 角度 看 ,把 握 和 应 用 与 问题 空间 
相对 应 的 积木 块 的 编码 结构 是 十 分 困难 的 , 尽管 如 此 ,在 有 些 问题 的 编码 设计 中 还 是 应 该 检查 
一 下 码 串 中 相关 位 (bit) 位 置 之 间 的 距离 . 

规则 (2) 提 供 了 一 种 更 为 实用 的 编码 原则 . 遗传 算法 中 通常 采用 二 值 编码 设计 次 非 偶然 ， 
因为 二 值 编码 符合 规则 (2) 的 设计 思想 . 

应 该 指出 ,上 述 两 个 编码 规则 也 仅仅 是 为 编码 设计 提供 了 一 定 的 准则 . 在 实际 应 用 这 些 准 
则 时 仍然 要 针对 具体 问题 ,设计 出 具体 有 效 的 编码 . 

于 画 介绍 几 种 常用 的 编码 技术 . 

一 、 一 维 娄 色 体 编码 

一 维 染色 体 编码 是 指 问题 空间 的 参数 瞻 射 到 GA 空间 后 ,其 相应 的 基因 旦 一 维 排列 构成 
染色 体 . 一 维 染 色 体 编码 中 最 常用 的 符号 集 是 二 值 符号 集 {0,1} ,基于 此 符号 集 的 个 体 星 二 值 
码 串 . 





二 值 码 捉 是 目前 遗传 算法 中 常用 的 编码 方法 , 它 具有 以 下 优点 ， 

《1 简单 易 行 ; 

《2) 符 合 最 小 字符 集 编 码 规则 ， 

《3) 便 于 用 模式 定理 进行 分 析 , 因 为 模式 定理 就 是 以 二 值 编码 为 基础 的 . 

二 值 编码 的 不 足 之 处 有 : 

(1) 有 一 定 的 映射 误差 ; 

《2) 不 能 直接 反映 出 所 求 问题 的 本 身 结构 特征 ,难以 满足 生成 有 意义 积木 块 的 缩 权 规则 、 

目前 ,关于 一 维 编码 已 有 一 些 新 的 提案 和 方法 为 人 们 所 采用 ,如 实数 表示 、 格 亩 码 表 示 和 
表 表 示 等 . 

二 、 多 参数 聊 射 编码 

在 优化 问题 求解 中 经 常会 磁 到 络 参 数 优 化 问题 . 对 这 类 问题 的 遗传 算法 常 采用 劣 参 数 纺 
码 .其 基本 思想 是 把 每 个 参数 先进 行 二 值 编码 得 到 于 串 , 再 把 这 些 子囊 连 成 一 个 完整 的 染色 
体 ,一般 来 说 ,多 参数 肌 射 编码 中 的 每 一 个 于 审 对 应 各 自 的 缩 码 参数 ,因此 根据 各 参数 不 同 的 
数量 级 ,相应 的 各 于 串 可 有 不 同 的 串 长 度 . 

三 、 可 灾 染 色 体 的 长 度 编码 

在 自然 界 生物 进化 过 程 中 ,染色 体 的 长 度 不 是 固定 不 变 的 . 为 了 融 人 这 种 机 制 ,Goldberg 
等 人 提出 了 一 种 称 为 Messy GA(MGA) 的 编码 方法 . 

MGA 主要 有 以 下 几 个 特点 : 

51) 染色 体 长 度 可 变 # 

《2) 人 允许 过 指定 和 欠 指 定 } 

《3) 基 于 切断 和 拼接 操作 的 交叉 处 理 . 

下 面 简单 介绍 MGA 编码 方法 . 表 11. 1 给 出 了 描述 MGA 编码 的 一 个 例 于 。 
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表 111 MGA 编码 举例 





正确 指定 Ka)CBDCca) 





过 指定 人 el) 吕 2Ccs)gas)} 





从 指 定 {CaDCca)) 


在 MGA 中 ,个 体 仍然 由 基因 座 和 相应 的 基因 构成 ,但 基因 的 意义 与 基因 座 无 关 ,而 是 由 
成 对 的 符号 所 决定 . 个 性 以 玫 的 形式 表示 . 以 表 11. 1 中 的 个 体 {(a)(& (cs)} 为 例 , 它 可 以 解 
释 为 三 位 长 的 串 ,a 值 为 1,5 值 为 4,c 值 为 3. 

与 标准 GA 不 骨 ,MGA 不 一 定 要 把 所 有 的 信息 都 用 基因 表现 出 来 ,因此 染色 体 的 长 度 或 
表示 个 体 的 表 的 长 度 是 可 变 的 . 设 表示 的 基本 字符 集 为 {fa,b,c} ,染色体 长 度 取 为 3, 册 正确 的 
个 体 表示 或 编码 对 应 表 11. 1 中 的 正确 的 指定 形式 . 染色 体 长 度 为 4 和 2 的 表示 分 别 对 应 表 
11. 1 中 过 指定 和 欠 指 定形 式 - 

MGA 在 做 适应 度 计算 时 ,需要 把 以 表 的 形式 表示 的 个 体 转 换 成 规定 长 度 的 字符 捉 的 形 
式 . 对 于 过 指定 的 表示 ,要 把 多 余 的 指定 除去 ;对 于 欠 措 定 的 表示 ,要 用 竞争 红 板 来 补足 欠缺 
因此 在 MGA 中 ,经 适应 度 评估 后 ,群体 中 染色 体 的 长 度 都 相等 . 但 经 过 MGA 特有 的 交叉 操 
作 后 ,新 的 群体 中 的 染色 体 的 长 度 又 可 能 不 等 长 了 . 交叉 操作 的 例子 可 如 图 11. 1 所 示 . 在 该 全 
中 ,两 个 父 本 个 体 的 长 度 为 9, 但 经 过 切断 和 拼接 操作 后 形成 分 别 为 6 和 12 的 两 个 子 代 个 体 . 

父 代 1 111611ll111 ~ 子 代 1 1111000 
父 伐 2 0000001000 一 子 伐 2 0000001111111 
国 11.1 切断 和 拼 护 操作 

MGA 的 可 变 长 度 染 色 体 编码 在 有 些 应 用 中 表现 了 很 好 的 效果 ,但 上 -- 章 所 述 炬 式 定理 

已 不 再 适用 . 











3811.2 群体 设 定 


遗传 操作 是 对 若干 个 体 问 时 进行 的 ,这 些 个 体 组 成 了 群体 . 在 遗传 算法 处 理 流程 中 ,编码 
设计 后 的 第 一 项 工作 就 是 初始 群体 的 设 定 . 然后 以 此 为 起 点 , 逐 代 执行 租 传 操作 ,直至 满足 预 
先 设 定 的 某 种 进化 终止 准则 ,获得 最 后 群体 . 
群体 设 定 的 主要 问题 是 群体 规模 , 即 群 体 中 包括 的 个 体 数目 的 设 定 . 作为 遗传 算法 的 
控制 参数 之 一 ,群体 规模 和 交叉 概率 .变异 概率 等 参数 一 样 ,直接 影响 遗传 算法 效能 的 发 
挥 . 
群体 规模 影响 遗传 优化 的 最 终结 果 以 及 遗传 算法 的 执行 效率 , 当 群 体 规 模 > 太 小 时 ,遗传 
等 法 的 优化 性 能 一 般 不 会 太 好 . 这 种 情况 下 ,会 使 前 传 算法 的 搜索 空间 中 解 的 分 布 范围 受到 限 
制 , 因 此 搜索 有 可 能 停止 在 未 成 熟 阶段 ,引起 未 成 部 收 敏 (premature convergence) 现 象 . 较 大 
的 群体 规模 可 以 保持 群体 的 多 样 性 ,避免 未 成 熟 收敛 现象 ,以 减少 遗传 算法 陷 人 局 部 最 优 解 的 
机 会 . 但 较 大 的 群体 规模 意味 着 较 高 的 计算 复杂 度 . 从 计算 效率 出 发 考虑 ,群体 规模 越 大 ,其 适 
应 度 评 佑 次数 增加 越 多 ,所 以 导致 计算 量 增加 ,影响 算法 效能 . 在 实际 应 用 中 应 当 综 合 考虑 这 
两 个 四 素 ,选择 适当 的 群体 规模 . 通常 = 的 取 值 范围 为 元 十 至 玫 百 ,在 优化 问题 中 一 般 取 在 
10 一 160 之 间 . 
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关于 初始 群体 的 设 定 ,一 般 采 用 如 下 策略 : 

《1 根据 对 问题 的 了 解 ,设法 把 握 最 优 解 所 占 空 间 在 整个 问题 空间 中 的 分 布 范围 ,然后 ,在 
此 范围 内 设 定 初始 群体 . 

《22 先 随 机 生成 一 定数 目的 个 体 , 然 后 从 中 挑 出 最 好 的 个 体 加 到 初始 群体 中 . 这 种 过 程 不 
断 和 迭代 ,直到 初始 群体 中 个 体 数 达到 了 预先 确定 的 规模 . 

在 遗传 进化 过 程 中 ,群体 规模 一 般 都 维持 相同 大 小 . De Jong 在 本 数 优化 的 实验 中 ,提出 
了 一 个 描述 群体 之 间 关 系 的 参数 G, 称 为 代沟 (generation gap). 通过 G 的 引用 ,可 形成 重 登 群 
体 ， 
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6 几 上 F 重 登 群 体 
| <<G<1， 重 登 群体 
在 重 登 群体 模式 下 ,每 次 从 群体 中 选取 *G 个 个 体 参 与 遗传 操作 ,而 其 他 z(1 一 G) 个 个 体 
直接 保存 到 下 一 代 群 体 中 . 代沟 方式 的 选用 为 遗传 算法 利用 优化 过 程 的 历史 信息 提供 了 条 件 ， 
加 速 了 遗传 算法 的 收敛 过 程 . 当代 沟 G 过 小 时 可 能 导致 遗传 算法 的 过 早 的 不 成 束 收 马 . 一 般 
取 G 在 0.3~1 之 间 . 











3$11.3 适应 度 函 数 


遗传 算法 在 进化 搜索 中 仅 以 适应 度 函 数 为 依据 ,而 不 需要 外 部 信息 . 遗传 算法 的 适应 度 函 
数 不 受 连续 可 微 的 限制 , 且 其 定义 域 可 以 为 任意 集合 - 对 适应 度 阔 数 的 惟一 要 求 是 ,针对 输 人 
能 够 计算 出 可 加 以 比较 的 非 负 结果 . 这 一 特点 使 得 遗传 算法 具有 较 广 的 应 用 范围. 

适应 度 函 数 评估 是 选择 操作 的 依据 ,适应 度 函 数 的 设计 直接 影响 到 遗传 算法 的 性 能 . 在 具 
体 应 用 中 ,适应 度 函 数 的 设计 要 视 求 解 问题 本 身 的 要 求 而 定 .本 节 主 要 介绍 适应 友 函 数 设计 的 
基本 准则 和 要 点 . 

一 、 目 标 函 数 映 射 成 适应 度 函 数 

在 优化 问题 求解 中 ,有 些 问 题 的 目标 是 求 费用 荔 数 (代价 范 数 )g(z) 的 最 小 值 , 有 些 问题 
的 目标 是 求 效能 函数 (或 利润 函数 )g(z) 的 最 大 值 . 即使 某 一 问题 可 自然 地 表示 成 求 最 大 值 的 
形式 ,但 也 不 能 保证 对 于 所 有 的 x,g(z) 都 取 非 负 值 , 由 于 在 遗传 算法 中 要 根据 适应 度 函 数值 
计算 选择 概率 ,所 以 要 求 适应 度 函 数 的 值 要 取 非 负 值 . 

当 求 解 问题 本 身 是 最 大 化 问题 时 ,为 了 保证 适应 度 函 数 的 非 负 性 ,可 采用 如 下 变换 式 ， 

Fo = 人 十 Ca， 当 g(z) 十 Cun > 之 0 
0， 其 他 情况 

式 中 系数 Cu 可 以 是 一 个 合适 的 输入 值 ,或 是 当前 群体 或 前 代 群体 中 g(z) 的 最 小 值 . 

当 求解 问题 本 身 是 最 小 化 问题 时 ,为 了 保证 适应 度 函 数 的 非 负 性 ,可 采用 如 下 变换 式 ; 
Co 一 ECz)， 当 &(z) < Co 
0， 其 他 情况 
式 中 系数 Cn 可 以 是 一 个 合适 的 输入 值 ,或 是 当前 群体 或 前 代 群 体 中 g(z) 的 最 大 值 . 

二 . 送 应 度 函 孝 定 标 (scaling) 

在 遗传 算法 中 ,群体 中 个 体 被 选择 参与 竞争 的 个 数 与 适应 度 有 直接 关系 . 为 此 ,有 必要 调 
整 群体 中 各 成 员 的 竞争 水 平 ,以 获得 适应 度 最 高 的 个 体 . 
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在 遗传 进化 初期 ,通常 会 出 现 一 些 超常 个 体 . 若 按 比 例 选 择 策略 , 则 这 些 超常 个 体 有 可 能 
在 群体 中 占 很 大 比例, 从 而 可 能 导致 示 成 熟 收 和 伍 现 象 . 这 些 异 常 个 体 因 竞 争 力 太 突出 会 控制 选 
择 过 程 ,影响 算法 的 全 局 优化 性 能 . 此 时 ,应 设法 降低 这 些 异 常 个 性 的 竟 争 能 力 , 这 可 以 通过 缩 
小 相应 的 适应 度 函 数值 来 实现 , 另外 ,在 遗传 进化 过 程 中 ,虽然 群体 中 个 体 多 样 性 尚 存在 ,但 往 
往 会 出 现 群体 的 平均 适应 度 已 接近 最 佳 个 体 适 应 度 , 在 这 种 情况 下 ,个 体 间 竞争 力 减 弱 , 最 佳 
个 性 和 其 凶 大 多 数 个 体 在 选择 过 程 中 有 几乎 相等 的 选择 机 会 ,从 而 使 有 目标 的 优化 过 程 趋 于 
无 目标 的 随机 漫游 过 程 . 对 于 这 种 情形 ,应 设法 提高 个 体 间 竟 争 力 , 这 可 以 通过 放大 相应 的 适 
应 度 函 数值 来 实现 . 这 种 对 适应 度 的 缩放 调整 称 为 适应 度 定 标 . 

定 标 方 式 主要 有 以 下 几 种 : 

1 线 几 定 标 

设 原 适 应 度 郴 数 为 疡 , 定 标 后 的 适应 度 函 数 为 广 , 则 线性 定 标 可 采用 下 式 表示 : 

户 一 af 十 5 《11. 3.1) 





其 中 系数 ab 的 选择 需 满足 : 
鲜 定 标 后 适应 度 平 均值 产 与 原 适 应 度 平 均值 相等 - 
图 定 标 后 适应 度 函 数 最 大 值 广 -.. 等 于 原 适 应 度 平 均值 的 所 指定 的 倍数 , 即 
太一 CCF 《11. 3. 27 
其 中 C 是 最 优 个 体 期 望 达到 的 复制 数 . 实验 表明 ,对 于 不 大 的 群体 ,如 ” 介 于 50 一 100 之 间 , 取 
C 在 1 2 一 2 之 内 ,已 经 获得 了 成 功 的 应 用 . 

上 述 选取 (11. 3. 1? 式 中 系数 < 的 条 件 中 的 担 出 ,是 为 了 保证 在 后 继 的 选择 操作 中 ,具有 
平均 适应 度 秆 的 个 体 下 贡献 一 个 期 望 的 子孙 到 下 一 代 . 条 件 加 的 提出 是 为 了 控制 原 适 应 庆 值 
最 大 的 个 笨 可 和 黄 献 子孙 的 数目 . 

值得 注意 的 是 ,在 使 用 线性 定 标 时 有 可 能 出 现 负 适应 度 值 的 情况 . 这 主要 是 在 算法 运行 的 
后 期 ,对 诛 适 应 度 函 数 进行 了 过 分 的 缩放 . 图 11. 2 所 示 为 正常 线性 定 标 情形 ,此 时 少数 异常 个 
体 的 适应 度 被 缩小 ,同时 ,为 数 不 多 的 个 体 适 应 度 被 扩大 ,所 以 定 标 后 的 适应 度 未 出 现 负 值 . 而 
图 11. 3 情况 则 不 同 , 由 图 中 可 见 , 在 一 些 个 体 的 适应 度 值 远 小 于 群体 的 平均 适应 度 值 了 和 最 

定 标 适 应 度 























T 
1 
1 

了 了 


图 11.2 正常 线性 定 标 
大 适应 度 值 Fw, 且 子 和 广 .. 又 很 接近 的 情形 ,为 了 提高 群体 中 个 体 的 竞争 力 ,以 避免 随机 漫 
游 现 象 而 采用 线 几 定 标 . 希望 把 比较 接近 的 方 .和 子 拉 开 时 ,原来 低 适 应 度 值 经 定 标 后 就 会 变 
为 负 值 . 解决 此 类 问题 的 办 法 很 多 , 当 不 能 将 系数 C 调整 到 斯 望 值 时 ,可 以 简单 地 把 原 适 应 度 


大 成 流 
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最 小 值 A。 隐 射 到 定 标 后 适应 度 最 小 值 Fe. 但 此 时 仍 要 保持 产 一 
+ 定 标 适 应 度 








| 


到 |---------- 





性 定 标 出 现 负 适应 度 
综 上 所 述 ,线性 定 标 公 芝 (3 .了 JJ 中 的 系 教 <K、 二 革 民 扩 隐 上 汪 二 定 ， 有 具体 方法 如 下 ， 


首先 ,利用 


确定 


然后 ,对 定 标 后 适应 度 的 非 负 性 进行 判别 , 若 六 >>0, 邑 


> >C 挛 这 


则 采用 上 述 关于 < ,8 的 选择 . 否则 ,利用 





万 一 了 
帮 。 一 0 
确定 
< 一 玉 - 
了 一 户 。 
ea 
一 F。 
2. 寡 函 数 定 标 
该 定 标 方式 定义 如 下 : 
一 天 (11. 3. 3 
其 中 籍 指数 上 为 一 常量 ,与 求解 问题 有 关 ,需要 在 理论 分 析 估计 的 基础 上 ,结合 实验 进行 调整 
才能 获得 最 好 的 结果 . 
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3-. 指数 定 标 
这 种 定 标 方 式 定义 为 
灵 一 ex (C11.3.4) 
其 中 起 为 常量 . 这 种 机 制 是 受 模拟 退火 方法 的 启发 得 到 的 . 
下 面 应 用 指数 定 标 方法 处 理 两 组 典型 的 数据 . 
例 革 设 群体 中 有 6 个 串 ,其 中 一 个 串 的 适应 度 值 特别 大 ， 





原 适 应 度 值 200 8 7 6 5 4 
定 标 适 应 度 值 疏 一 一 0. 005) 2.718 1.041 1.036 1.030 1.025 1.020 
例 2 设 和 群体 中 有 6 个 串 , 它 们 的 适应 度 值 都 比较 接近 ， 

原 适 应 度 值 9 8 7 6 5 革 

定 标 适 应 度 值 人 一 一 0. 5 90 55 33 20 12 了 


从 上 面 的 例子 可 见 ,指数 定 标 晤 可 以 让 非常 好 的 捉 保 持 多 的 选择 机 会 ,同时 又 限制 了 其 选 
择 数目 ,以 免 其 很 快 控制 整个 群体 . 这 种 方法 也 提高 了 相近 串 间 的 竞争 性 . 系数 寺 的 值 是 非常 
重要 的 , 它 决 定 了 选择 的 强制 性 , 越 小 ,选择 强制 性 就 越 趋向 于 那些 具有 最 高 适应 度 值 的 串 . 

选取 合适 的 适应 度 定 标 方案 是 非常 重要 的 .采用 这 一 技术 的 好 处 在 于 :第 一 ,可 以 使 遗传 
算法 的 选择 强度 通过 适应 度 商 数值 的 放 、 缩 加 以 控制 . 一 般 来 说 ,在 遗传 算法 的 初始 阶段 ,希望 
选择 强度 稍 低 一 些 , 以 免 遗 传 群体 被 单个 或 少数 几 个 适应 度 较 高 的 个 体 所 支配 . 而 在 遗传 算法 
的 后 期 , 即 算法 接近 收 伍 的 情况 下 ,由 于 群体 内 的 个 体 间 适 应 度 的 差异 较 小 ,继续 优化 的 潜能 
较 低 ,因此 有 必要 适当 地 提高 选择 强度 ,以便 遗传 算法 收 伍 到 更 优 的 解 . 第 二 ,实际 应 用 中 可 能 
会 出 现 目标 函数 值 小 于 零 的 情况 ,此 里 若 直接 使 用 目标 画 数 作为 适应 度 会 引起 随机 选择 方 而 
的 同 题 ,因此 利用 适应 度 画 数 定 标 技术 可 以 将 目标 函数 值 映射 到 非 负 实 数值 域 . 第 三 ,使 用 适 
应 度 定 标 技 术 还 可 处 理 某 些 无 目标 疯 数 值 的 组 合 优化 问题 , 此 时 可 以 根据 群体 内 个 体 性 能 的 
相对 优 劣 ,以 一 定 的 亢 数 映射 方法 对 个 体 仁 能 进行 适应 度 定 标 ,并 依 此 计算 选择 概率 . 

三 、 秆 应 度 画 教 与 问题 约 未 条 件 

在 实际 应 用 中 ,许多 优化 问题 都 是 带 约束 条 件 的 . 由 于 遗传 算法 仅 靠 适应 度 来 评估 和 引导 
搜索 ,所 以 求解 问题 所 固有 的 约束 条 件 不 能 明确 地 表示 出 来 . 用 和 遗传 算法 求解 此 类 问题 需要 考 
虑 一 些 对 策 . 、 

可 以 采用 一 些 很 自然 的 方法 来 处 理 约束 条 件 , 即 在 进化 过 程 中 ,每 欠 代 一 次 就 检测 一 下 新 
的 个 体 是 否 违 背 了 约束 条 件 . 如 果 没 有 违背 , 则 作为 有 效 个 体 保 留 ,反之 ,作为 无 效 个 体 从 群体 
中 除去 ,这 种 处 理 方法 对 于 弱 约 束 问题 求解 还 是 有 效 的 ,但 对 子 强 约 束 问 题 求解 则 难于 奏效 ， 
因为 此 时 寻找 一 个 有 效 个 体 的 难度 可 能 不 亚 于 寻 和 找 最 优 个 体 . 

作为 一 种 对 策 , 可 采用 在 目标 阔 数 中 引入 苇 罚 衣 数 的 方法 . 该 方法 的 基本 思想 是 设法 对 个 
体 违背 约 束 条 件 的 情况 给 予 惩 町 ,并 将 此 惩罚 体现 在 适应 度 画 数 设计 中 . 这 样 ,一 个 约束 优化 
问题 就 转换 为 一 个 附带 考虑 惩罚 项 的 无 约束 优化 问题 . 

设 要 解决 的 约束 最 小 化 问题 可 描述 为 

es 








下 一 全 全 2 1.3.5) 
Bi 0 人 一 三 十 1 鸭 ) 
其 中 zx 为 一 向 量 . 
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通过 惩罚 函数 法 ,上 述 问 题 可 转化 为 无 约束 优化 问题 
minFCx) 十 六 -Aca] 十 立 7GL8ICz) 《11. 3. 6) 
气 ia 


其 中 瑟 和 6G 为 惩罚 函数 ,~ 为 惩罚 系数 - 
惩罚 函数 可 以 有 多 种 确定 方法 ,如 可 以 取 为 
再 [AiCz)] 一 形 (z) 
G[gi(a] 一 es 
在 一 定 的 条 件 于 , 当 惩 罚 系数 ~ 的 取 值 接近 无 穷 大 时 ,无 约束 解 可 收银 到 约束 解 - 
把 惩罚 加 到 适应 度 函 数 中 的 思想 是 简单 而 直观 的 . 但 是 ,惩罚 画 数值 在 约束 边界 处 会 发 生 
急剧 的 变化 ,常常 会 有 较 大 的 问题 ,要 加 以 注意 . 用 遗传 算法 求解 约束 问题 的 对 策 除 了 从 适应 
度 画 数 设计 着 手 外 ,还 可 以 在 编码 设计 和 遗传 操作 设计 等 方面 采取 一 定 的 措施 ， 


8$11.4 遗传 操作 


在 遗传 算法 中 ,通过 编码 生成 初始 群体 后 , 接 下 来 的 任务 就 是 对 群体 的 个 体 按照 它们 对 环 
境 的 适应 程度 (适应 度 评估 ?进行 遗传 操作 ,以 实现 优胜 劣 状 的 进化 过 程 . 遗传 操作 可 使 问题 的 
解 逐 代 优 化 ,并 逼近 最 优 解 . 

遗传 操作 包括 以 下 三 个 基本 遗传 算 子 :选择 (selection》、 交 叉 (crossover) 和 变异 (muta- 
tion). 这 三 个 遗传 算 子 有 如 下 特点 : 

《1) 它 们 的 操作 都 是 在 随机 拢 动情 况 干 进行 的 , 即 遗 传 操作 是 随机 化 操作 , 因此 ,群体 中 个 
体 向 最 优 解 迁移 的 规则 是 随机 的 . 但 是 需要 指出 ,这 种 随机 化 操作 和 传统 的 随机 搜索 方法 是 有 
区 别 的 . 遗传 操作 进行 的 是 高 效 有 向 的 搜索 ,而 不 同 于 一 般 随 机 搜索 方法 所 进行 的 无 向 按 索 . 

《2) 遗 传 操 作 的 效果 除了 与 编码 方法 .群体 规模 .初始 群 体 以 及 适应 度 函 数 的 设 定 有 关外 ， 
还 与 上 述 三 个 遗传 算 子 所 取 的 操作 概率 密切 相关 . 

《3) 三 个 遗传 算 子 的 操作 方法 随 具 体 求 解 问题 的 不 同 而 异 ,它们 和 个 体 的 编码 方式 直接 相 
关 . 

由 于 二 值 缩 码 是 最 常用 的 编码 方法 ,所 以 ,对 遗传 算 子 的 论述 以 二 值 编码 为 基础 . 


1l.4.1 选择 算 子 


从 群体 中 选择 优胜 的 个 体 ,淘汰 劣质 的 个 体 的 操作 称 为 选择 . 选择 算 子 亦 称 为 再 生 算 子 
《reproduction operatof). 选择 操作 建立 在 对 群体 中 个 体 的 适应 度 进行 评估 的 基础 上 ,目前 常 
用 的 选择 方法 有 如 下 几 种 : 

一 、 适 应 度 比例 方法 (fitness Proportional model) 

适应 度 比例 方法 是 目前 遗传 算法 中 最 基本 也 是 最 常用 的 选择 方法 ,也 称 为 赌 轮 选 择 (rou- 
lette wheeI selection) 或 蒙特 卡 罗 选 择 (Monte Carlo Selection). 在 这 种 选择 机 制 中 ,个 体 每 次 
被 选中 的 概率 与 其 在 群体 环境 中 的 相对 适应 度 成 正比 . 

设 群体 规模 为 ,其 中 第 ;i 个 个 体 的 适应 度 值 为 广 , 则 其 被 选择 的 概率 为 

Ps.= -去 - GEL41) 
之 万 
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《11.3.7) 
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选择 顾 率 忆 ;反映 了 第 ; 个 个 体 的 适应 度 在 整个 群体 的 个 体 适 应 度 总 和 中 所 占 的 比例 . 个 体 适 
应 度 值 越 大 ,其 补 选 择 的 概率 就 越 高 ,反之 亦 然 
现 以 表 11. 2 为 例 , 将 赌 轮 选 择 方式 的 计算 机 实现 步 又 说 明 如 下 : 
表 11.2 周 轮 选择 示例 








个 体 序号 1 2 3 4 5 三 7 8 9 lo 
天 应 度 8 也 17 ? 忆 12 11 了 3 了 
适应 度 累计 值 8 10 2 34 36 48 5 66 6 76 
随机 数 23 49 76 13 1 27 57 
被 选中 的 个 体 号 3 7 10 3 1 3 ?7 








表 11.2 提 述 了 赠 轮 选择 方式 . 表 中 第 一 行 说 明 有 10 个 个 体 参 与 选择 ,第 二 行 表示 各 个 体 
的 适应 度 ,第 三 行 标记 适应 庶 的 累计 值 ,总 值 为 76. 选择 操作 执行 时 ,首先 在 [0,76] 区 间 内 产 
生 移 匀 分 布 的 随机 数 ,如 第 四 行 所 示 . 然后 依次 序 将 第 三 行 的 累计 适应 度 与 随机 数 相 比 较 , 其 
值 大 于 或 等 于 随机 数 的 第 一 个 个 体 列 为 人 选 的 选择 对 象 . 例如 ,第 一 个 随机 数 是 23, 除 了 1 
号 、2 号 个 体外 ,其 余 个 体 的 累计 适应 度 均 大 于 23 ,然而 3 号 个 体 累计 值 为 27, 是 第 一 个 大 于 
23 的 个 体 , 所 以 它 人 选 . 

上 述 选择 过 程 ,可 找 述 如 下 : 

《1) 依 次 累计 群体 内 各 个 体 的 适应 度 , 得 相应 的 累计 值 S, ,最 后 一 个 累计 值 为 S。 

《2)? 在 [0,S.] 区 各 内 产生 均匀 分 布 的 随机 数 R; 

《3? 依 次 用 3 与 尺 相 比 较 , 第 一 个 出 现 3S, 大 于 或 等 于 民 的 个 体 i 被 选 为 选择 对 象 ; 

《4 重复 (2),《3) 直 至 满足 所 需要 的 个 体 数 目 . 

表 而 上 看 ,个 体 的 选择 是 随机 的 . 但 实际 上 选择 是 依据 相信 两 个 适应 度 累 计 值 的 差 值 

AS 一 Si 一 Sr- 一 矿 

进行 的 , 式 中 访 为 第 ; 个 个 体 的 适应 度 . 事实 上 ,适应 度 六 越 大 ,AS; 的 工 离 越 大 ,随机 数落 在 
这 个 区 间 的 可 能 性 越 大 ,第 ; 个 个 体 被 选中 的 机 会 也 越 多 . 图 11. 4 描述 了 这 种 情形 . 图 中 的 指 
针 固 定 不 动 ,外 峡 的 圆 环 可 以 任意 转动 ,图 环 中 每 段 对 应 于 适应 度 的 大 小 . 从 统计 意义 讲 , 适 应 
度 越 大 的 个 体 被 选中 的 机 会 越 大 - 适应 度 小 的 个 体 尽 管 被 选中 的 辑 率 小 ,但 仍 有 可 能 被 选中 ， 
这 样 就 增加 了 个 体 的 多 样 性 ,便于 执行 交叉 及 变异 . 所 以 赌 轮 选择 方法 胎 体 现 了 “ 适 者 生存 ”的 
原则 ,又 保持 了 个 体 性 态 的 多 样 性 . 











图 11.4 赌 轮 选择 原理 
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二 、 最 佳 个 体 保 留 方法 {elitist model) 

该 方法 首先 按 适 应 度 比例 选择 方法 执行 遗传 算法 的 选择 操作 ,然后 将 当前 解 群体 中 适应 
度 最 高 的 全 体 直 接 复 制 到 下 一 代 群 体 中 . 它 的 主要 优点 是 能 够 保证 遗传 算法 终止 时 得 到 的 结 
果 一 定 是 历代 出 现 过 的 具有 最 高 适应 度 的 个 体 . 但 是 ,这 也 隐 售 了 一 种 危机 , 即 局 部 最 优 个 体 
的 遗传 基因 会 急剧 增加 而 使 进化 有 可 能 路 于 局 部 最 优 解 . 

三 .期望 值 方 法 (expected value modeb) 

在 执行 赠 轮 选择 机 制 时 , 洁 群 体 规模 较 小 , 则 依据 产生 的 随机 数 有 可 能 会 不 正确 地 反映 个 
体 适 应 度 的 选择 , 即 适 应 度 高 的 个 体 可 能 被 淘 涩 ,而 适应 度 禾 的 个 体 可 能 被 选择 . 为 了 克服 这 
种 随机 误差 ,可 以 采用 期 望 值 方法 . 

期 望 值 方 法 采用 如 下 步骤 :首先 计算 群体 中 每 个 个 体 在 下 一 代 生 存 的 期 望 数目 

Ri 一 五 -21 GL4.2) 
” 关 
然后 按期 望 值 尺 的 整数 部 分 安排 个 体 被 选中 的 次 数 . 而 对 期 望 值 R 的 小 数 部 分 ,可 按 确定 方式 
或 随机 方式 进行 处 理 . 区 定 方式 是 将 尺 的 小 数 部 分 按 值 的 大 小 排列 , 自 大 到 小 依次 选择 ,直到 被 
选择 个 体 数 达到 群体 规模 为 止 . 随机 方式 可 按 赠 轮 选择 机 制 进行 ,直到 选 满 为 上 . 

四、 排序 选择 方法 (Tank-based model) 

该 方法 首先 根据 适应 度 大 小 顺序 对 群体 中 的 个 体 排序 ,然后 把 事先 设 计 好 的 概率 表 按 序 分 
配给 个 体 , 作 为 各 自 的 选择 概率 . 选择 概率 和 适应 度 无 直接 关系 ,而 仅 与 个 体 排列 序号 有 关 . 这 种 
方法 的 优点 是 ,可 以 较 好 地 处 理 比例 选择 机 制 存在 的 两 个 问题 , 即 个 别 或 极 少数 适应 度 值 相当 高 
的 染色 体 的 基因 在 群体 中 迅速 遗传 而 导致 的 群体 不 成 热 收 伍 ,以 及 当 群 体内 个 体 适 应 度 彼此 相 
互 接近 时 导致 的 纯粹 随机 选择 . 该 方法 的 缺点 是 选择 标准 过 于 偏离 个 体 的 适应 度 . 

五 、 随 机 联赛 选择 方法 (stochastic tournament selection model) 

设 定 联 赛 规模 M, 从 群体 中 任意 选择 M 个 个 体 ,将 其 中 适应 度 最 高 的 个 体 保存 到 下 一 代 . 这 一 
过 程 反 复 进行 ,直到 选择 进入 于 一 代 的 个 体 数 达到 群体 规模 为 止 . 联赛 规模 M 通 常 取 为 2. 

六 .排挤 方法 (crowding model) 

在 重合 群体 模式 (代沟 0<<G<1) 下 ,采用 排挤 方法 可 以 使 新 生成 的 子 代 排挤 相似 的 旧 父 
代 个 体 ,以 提高 群体 的 多 样 性 . 

该 方法 执行 步骤 如 于 :首先 设 定 排挤 系数 CE(crowding factor) ,然后 从 群体 中 随机 地 挑 
选 CF 个 个 体 组 成 全体 集 ( 新 的 个 体 不 包括 在 内 ),* 从 该 个 体 集中 淘 涩 一 个 与 下 一 代 群 体 中 新 
个 体 的 海 明 虐 高 最 短 的 个 体 ,将 获胜 的 个 体 直接 保存 到 下 一 代 群 体 中 . 

以 上 介绍 的 是 常用 的 几 种 选择 方法 ,在 具体 使 用 时 ,应 根据 求解 问题 的 特点 选用 合适 的 方 
法 ,或 将 不 园 的 选择 机 制 混合 运用 ,以 期 在 整体 上 改善 算法 的 优化 性 能 - 


Ht-4.2 交叉 算 子 


遗传 算法 中 起 核心 作用 的 是 遗传 操作 的 交叉 算 子 . 交叉 是 指 对 两 个 父 代 个 体 的 部 分 结构 
进行 重组 而 生成 新 个 体 的 提 作 . 交叉 算 子 的 设计 应 与 编码 设计 协调 进行 ,使 之 满足 交叉 算 子 的 
评估 准则 , 即 交叉 算 子 需 保证 前 一 代 中 优秀 个 体 的 性 状 能 在 下 一 代 的 新 个 笨 中 尽 可 能 得 到 遗 
传 和 继承 . 
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对 二 值 编码 来 说 ,交叉 算 子 包括 两 个 基本 内 容 : 一 是 从 由 选择 操作 形成 的 配对 库 (mating 
pool) 中 ,对 个 体 随 机 配对 ,并 按 世 先 设 定 的 交叉 概率 已 决定 每 对 是 否 需 要 交叉 操作 . 二 是 设 定 配 
对 个 体 的 交叉 点 (cross Sie 并 对 配对 个 体 在 这 些 交 又 点 前 后 的 部 分 结构 进行 交换 

下 面 针 对 二 值 编码 介绍 几 种 基本 的 交叉 算 子 . 

一 、 单 点 交 用 (one 一 paint crossover) 

具体 操作 是 ,在 个 体 串 中 随机 设 定 一 个 交叉 点 ,实行 交叉 时 ,对 两 个 配对 个 体 在 该 点 前 后 
的 部 分 结构 进行 互 换 , 生 成 两 个 新 个 体 , 

下 面 给 出 一 个 单 点 交叉 的 例子 - 

个 体 A_ 0011111000->001100111 新 个 体 A/ 
个 体 B ”1010100111->101011000 新 个 体 了 

在 本 例 中 ,交叉 点 设置 在 第 4 和 第 5 个 基因 座 之 间 . 交叉 时 ,该 交叉 点 后 的 两 个 个 体 的 部 
分 码 串 互相 交换 . 于 是 ,个 体 A 的 第 一 到 第 四 个 基因 与 个 体 3 第 五 到 第 九 个 基因 组 成 一 个 新 
的 个 体 A'. 同 理 ， 可 得 到 个 体 B'. 交 叉 点 是 随机 设 定 的 , 若 染 色 体 长 为 尺 则 可 能 有 ;一 1 个 交叉 
点 设置 . 


二 、 二 点 变 灵 《two 一 Point crossover) 
首先 随机 设 定 两 个 交叉 点 ,实行 交叉 时 ,对 两 个 配对 个 体 在 这 两 个 交叉 点 之 间 的 码 申 进行 
互 换 , 生 成 两 个 新 个 体 . 
一 个 二 点 交叉 的 例子 如 下 : 
个 体 A_ 00111110100 一 001100100 新 个 体 A' 
个 体 了 B 10101001111-*H01011011 新 个 体 B/ 
在 本 例 中 ,二 个 交叉 点 分 别 设置 在 第 丰 基 因 座 和 第 五 基因 座 以 及 第 七 基因 座 和 第 八 基因 
座 之 间 , A,B 两 个 个 何在 这 两 个 交叉 点 之 间 的 码 串 相互 交换 ,生成 新 个 体 A' 和 B' .车 个 体 长 


为 二 则 对 于 二 点 交叉 来 说 ,可 能 有 去 (4 一 1)(! 一 2 种 交叉 点 的 设置 ， 


三 、 多 点 交叉 (multi 一 point crossOver) 

铬 点 交叉 是 上 述 两 种 交叉 的 推广 - 若 用 参数 CP 表示 交叉 点 数 , 则 当 CP 一 1 时 , 即 为 单 点 
交叉 . 当 CP 为 偶数 时 ,根据 交叉 互 换 规律 ,染色体 可 以 当做 基因 环 来 处 理 , 如 CP 等 于 4 时 ， 
交叉 情况 如 图 11. 5 所 示 . 当 CP 为 奇数 时 , 它 可 以 等 效 为 但 数 点 交叉 . 此 时 可 假定 在 码 串 头 部 
《 即 基因 座 0) 有 一 个 交叉 点 .图 11.6 给 出 了 CP 一 3 时 的 交叉 情况 . 

若 染 色 体 长 为 靖 则 多 点 交叉 共有 5 罕 ! 种 交叉 设置 可 供 随机 挑选 . 当 CP 较 大 时 ,每 种 交叉 
点 设置 被 随机 选中 的 可 能 性 很 小 , 防 此 能 被 保存 的 部 分 结构 也 就 很 少 . 由 于 多 点 交叉 不 能 有 效 
地 保存 重要 模式 ,所 以 较 少 为 人 们 采用 . 


CO DO 


外) 随机 选择 4 个 交叉 点 tb)4 点 交叉 产生 2 个 新 环 
图 411.$ 偶数 点 交叉 
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《a) 随机 选择 3 个 交叉 点 (b)3 点 交 及 产生 2 个 新 环 


图 11.6 奇数 点 交叉 
四 、 一 至 交叉 (uniform crossover》 
一 致 交 叉 是 通过 设 定 屏蔽 字 (mask7 来 决定 新 个 体 的 基因 继承 两 个 旧 个 体 中 哪个 个 体 的 
对 应 基因 . 当 习 项 字 中 的 某 位 为 1, 则 交叉 该 位 所 对 应 的 父 本 的 基因 , 否则 ,不 交换 ,下面 给 出 
一 个 一 致 交叉 的 例子 . 


图 体 体 A 111000 
旧 体 体 B 000111 
屏蔽 字 0310101 


新 个 体 A“ 101101 
新 个 体 B 010010 


11.4.3 变异 算 子 


变异 算 子 的 作用 是 改变 群体 中 个 体 串 揭 某 些 基因 座 上 的 基因 值 . 对 于 由 字符 集 {0*1} 生 成 
的 二 值 码 串 来 说 ,变异 操作 就 是 把 基 四 座 上 的 基因 值 取 反 , 即 1->0 或 01 

变异 算 子 操作 的 步 驱 为 :首先 在 群体 中 所 有 个 体 的 色 串 范围 内 随机 地 确定 基因 座 ,然后 按 
天 先 设 定 的 变异 概率 P- 对 这 些 基 因 座 的 基因 值 进 行 变异 ， 

遗传 算法 引 人 和 变异 的 目的 ,一 是 使 算法 具有 局 部 随机 搜索 的 能 力 , 二 是 维持 群体 多 样 人 性 , 
当 遗 传 算法 通过 交叉 算 子 的 作用 已 接近 最 优 解 分 域 时 ,利用 变 蜡 算 子 的 局 部 随机 搜索 能 力 可 
以 加 速 向 最 优 解 收 伍 . 显然 ,此 时 变异 概率 应 取 较 小 值 ,否则 接近 最 优 解 的 积木 块 会 因 变异 而 
齐 到 破坏 - 

在 遗传 算法 中 ,交叉 算 子 因 其 全 局 搜索 能 力 而 作为 主要 算 子 ,变异 算 子 因 其 局 部 搜索 能 力 
而 作为 输 助 算 子 . 遗传 算法 通过 交叉 和 变异 这 一 对 妍 相互 配合 又 相互 竞争 的 操作 而 使 其 具备 
兼顾 全 局 和 局 部 的 均 衔 搜索 能 力 - 当 群 体 在 进化 中 陷于 搜索 空间 中 某 个 超 平面 面 仅 靠 交 叉 不 
能 打 脱 时 ,通过 变 寻 操作 可 有 助 子 这 种 摆脱 . 面 当 通过 交叉 操作 ,算法 已 形成 所 期 望 的 积木 块 
时 ,变异 操作 又 有 可 能 破坏 这 些 积木 块 . 如 何 有 效 地 配合 使 用 交叉 和 变异 操作 ,是 提高 遗传 算 
法 效能 的 一 个 重要 研究 课题， 
下 面 介 绍 几 个 常用 的 变异 算 子 . 
一 \ 基 本 变异 算 子 
执行 基本 变异 操作 时 ,首先 在 个 体 码 串 中 随机 挑选 一 个 或 多 个 基因 座 ,然后 以 概率 P。 对 
这 些 基 因 这 的 基因 值 做 变动 . 
下 面 给 出 {0,1} 二 值得 串 中 基本 变异 操作 的 一 个 例子 , 

个 体 和 10 010 110 又 lolloolo 个 体 A- 
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二 、 北 转自 子 (inversion Operator)》 
逆转 算 子 的 基本 操作 是 ,在 个 体 码 捉 中 随机 挑选 两 个 道 转 点 ,然后 将 两 个 逆转 点 间 的 基因 
值 以 概率 已 逆向 排序 . {0,1} 二 值 码 串 的 逆转 操作 举例 如 下 : 


个 体 和 A 10 1101000 训 1001ollo0 个 体 A/ 


闻 畔 点 


由 此 例 可 见 ,通过 逆转 操作 ,个体 A 中 从 基因 座 3 到 基因 座 ?7 之 间 的 基 丽 排列 得 到 道 转 ， 
即 从 序列 11010 变 成 01011. 
逆转 操作 可 以 等 效 为 一 种 变异 操作 , 但 它 的 真正 目的 在 于 实现 一 种 重新 排序 (reorde- 
ring). 这 里 所 谓 重 新 排序 是 指 对 个 体 的 基因 排列 进行 重新 组 合 , 但 又 不 影响 整个 个 体 的 特征 
《适应 度 值 ) 的 一 种 操作 , 在 自然 界 生物 的 基 琴 重 组 中 就 有 这 种 重新 排序 的 机 人 制 . 在 遗传 算法 中 
采用 这 种 重新 排列 的 目的 是 为 了 提高 积木 抉 的 繁殖 率 . 在 用 踪 传 算法 求解 某 些 问题 时 ,群体 中 
有 些 个 体 的 基因 排列 常常 会 出 现 如 下 情况 , 即 有 助 于 形成 积木 块 的 某 些 基因 相隔 较 远 ,此 时 采 
用 一 般 的 交叉 操作 会 破坏 相应 的 积木 抉 的 生成 . 在 这 种 情况 下 就 有 必要 对 这 样 的 个 体 进行 重 
新 排列 操作 . 
为 了 利用 逆转 算 子 来 实现 这 种 重新 排序 功能 ,必须 把 基因 值 的 意义 与 基因 座 的 位 置 独立 开 来 ,以 
保证 经 过 重新 排序 的 个 体 其 适应 度 不 变 . 为 此 ,可 采用 个 体 扩展 表示 法 , 现 举例 说 明 如 下 : 


123456789 这 转 1276543389 1 
个 体 人 10 1701000 100101100 个 体 A 


惠 畦 点 

在 本 例 中 ,每 个 基 琴 都 用 整数 1 一 9 命名 或 编导 , 这 些 命名 或 编 叶 记述 了 各 个 基因 与 基 琴 
座 的 关系 , 即 各 个 基因 译 码 的 含义 , 例如 ,基因 6 的 译 码 含义 是 8( 二 -十 进 制 译 码 ). 经 过 道 转 
操作 后 ,基因 6 虽然 被 移动 ,但 它 的 译 码 售 义 因 仅 和 其 族 名 或 编号 有 关 ,而 与 基因 座位 置 无 关 ， 
所 以 它 的 译 码 含义 仍 为 8 而 不 是 32). 这 样 对 经 过 扩展 表示 的 个 体 A 施行 着 转 操 作 后 ,生成 
的 个 体 A 的 基 码 被 重新 排列 ,但 其 适应 度 值 仍 然 保 持 与 原 个 体 一 致 . 

三 、 自 得 应 变异 算 子 (adaptive mutation operator7 

自 适 应 变异 算 子 与 基本 变异 算 子 的 执行 步 耻 完全 一 致 ,不 同 之 处 在 于 基 木 变异 操作 过 程 
中 变异 概率 Pu 始终 保持 不 变 , 而 在 执行 该 算 子 过 程 中 ,P, 随 群体 中 个 体 的 多 样 性 程度 的 改变 
或 其 他 指标 的 变化 而 自 适应 调整 . 这些 参照 指标 可 以 概 据 有 具体 问题 设 定 ,例如 ,可 以 根据 交叉 
操作 所 得 两 个 新 个 体 的 海 明 上 距 离 作 为 参照 指标 , 海 明 距 离 越 小 P. 越 大 ,反之 P. 越 小 . 
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第 十 二 章 ”遗传 算法 的 车 二 改进 研究 


8$ 12.1 避免 陷于 局 部 极 小 的 遗传 算法 


为 了 避免 遗传 算法 在 搜索 的 过 程 中 陷 人 局 部 最 优 解 问题 ,本 节 给 出 了 一 种 新 的 方法 ,在 选 
择 父 浊 色 体 时 不 仅 要 考虑 染 色 体 的 适应 度 ,而 且 还 要 根据 搜索 结果 动态 地 调整 各 染色 体 被 选 
中 的 概率 ,并 以 易于 陷入 局 部 极 小 的 多 峰 函 数 为 例 进 行 验证 ,模拟 计算 结果 表明 这 一 方法 对 克 
服 遗 传 算法 收敛 于 局 部 根 小 是 十 分 有 效 的 - 

一 、 聊 入 局 部 家 小 的 原因 

在 GA 中 染色 体 的 优 劣 是 用 适应 度 来 评价 的 ,一 般 地 ,适应 度 越 天 的 染色 体 所 代表 的 解 可 
能 趣 优 ,其 生存 的 概率 也 越 大 - 从 概率 上 说 ,适应 度 高 的 染色 体 产 生 优化 的 子 滥 色 的 概率 天 ， 
使 GA 收敛 于 全 局 极 小 点 的 概率 也 大 . 因而 ,传统 的 GA 是 以 群体 中 各 染色 体 的 适应 度 为 依据 
进行 选择 操作 的 , 即 适应 度 大 的 染色 体 被 选 作 父 本 的 报 率 也 大 . 各 巢 色 体 被 选中 作为 父 本 的 概 
率 可 用 下 式 给 出 : 














Pi = -co (12.1.1) 
立 7C) 

其 中 为 群体 中 染色 体 数 ， 

如 果 在 搜索 过 程 中 经 过 若干 代 (generation) 的 进化 仍然 找 不 到 最 优 解 ,这 说 明 在 以 前 各 代 
中 仅 以 适应 度 为 依据 所 选取 的 父 染 色 体 并 不 能 产生 最 优 的 个 体 . 而 传统 GA 的 选择 操作 仍 以 
适应 度 为 依据 来 选择 父 妇 色 体 ,不 断 的 再 生 :致使 群体 中 不 断 地 加 和 信和 父 染 色 体 相近 的 个 体 ， 
它们 的 适应 度 不 断 地 接近 平均 适应 度 ,使 得 这 些 非 最 优 个 体 或 模式 在 群体 中 所 占 的 比例 不 断 
加 天 ,占据 了 统治 地 位 ,进而 产生 了 遗传 漂移 现象 ,最 后 GA 陷 人 局 部 极 小 , 即 收 敛 于 局 部 最 优 
解 . 

二 、 政 进 的 遗传 算法 

在 选择 父 巢 色 体 时 除 考虑 染色 体 的 适应 度 外 ,还 依据 经 过 若干 代 再 生 的 结果 动态 调整 选 
择 概 率 ,改进 的 GA 算法 步骤 如 下 ， 

《1) 定义 调节 系数 x 和 靖 值 9, 其 中 c 和 8 为 小 正 数 ; 设 定 调节 周期 为 到 代 ; 设 定 群体 中 染 
色 体 数 ;适应 度 函 数 A(  ). 

〈2)》 首先 对 随机 产生 的 初始 群体 完成 下 列 操作 : 

@@ 求 初始 群体 中 各 妇 色 体 的 适应 度 , 并 将 


max(7(D) 一 太 
名 将 初始 群体 中 所 有 妇 色 体 备份 组 成 一 个 保留 群体 ,以 便 陷 人 局 部 根 沙 时 依 复 . 


加 用 (12.1. 1D 式 求 出 的 概率 只 来 选择 父 染 色 体 ,并 对 当选 为 父 的 染色 体 进行 备份 . 
《3) 初始 化 再 生 代 计数 器 I 一 0. 
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按 传统 的 GA 实现 遗传 操作 ,并 对 当选 为 父 桨 色 体 的 染色 体 进 行 备份 , 若 找到 最 优 解 则 算 
法 结束 :否则 了 工 一 工 十 1 
《4》 取 最 大 适应 度 值 赋 给 户 ， 








max(JGD) 一 户 
若 
万 一 所 关 8 
册 说 明 搜索 过 程 仍 朝 优 化 方向 进展 ,用 当前 群体 中 的 染色 体 替 换 保留 群体 中 的 染色 体 ,并 将 
户 一 广 , 转 (3); 


若 
户 一 万 挟 8 且 工 一 下 
则 说 明 收 敛 过 程 进展 缓慢 ,可 能 已 陷 人 局 部 极 小 ,此 时 用 保留 群体 中 的 染色 体 替 换 当 前 群体 中 
的 染色 体 以 使 群体 估 复 到 下 代 以 前 的 状态 ,并 将 在 前 天 代 再 生 中 曾 被 选 作 父 本 的 染色 体 以 
及 与 父 本 染色 体 海 明 距 离 相近 的 染色 体 的 选择 概率 降低 , 即 
了 一 ecP， 
转 (3). 
(5)》 转 (42. 
三 .实验 结果 
所 用 的 例子 是 多 峰值 函数 的 优化 , 共 进 行 了 三 组 实验 ,所 选用 的 函数 为 ， 
昌 一 (10 一 0. 2z)sin(0. 8mrz) 
3a 一 《10 一 0.2z)sjnt0. 4rz) 
3a 一 《10 一 0.2z)sin(0. 2rz) 
它们 都 是 峰值 不 同 的 多 峰 函 数 ,都 易于 过 早 地 陷 人 局 部 极 小 . 由 子 各 函数 的 周期 不 辣 ,过 
早 地 陷入 局 部 极 小 的 程度 也 不 一 样 . 下 面 给 出 染色 体 的 编码 和 参数 的 设 定 . 
所 选用 的 函数 定义 域 为 [0,32], 染 色 体 的 编码 为 {10,1} 上 的 位 串 , 长 度 为 15, 代 表 一 个 二 
进 制 数 . 从 左 起 前 5 位 表示 浆 数 部 分 ,后 10 位 表示 小 数 部 分 ,例如 : 
〈100101100010000): 一 (10010. 1100010000): 一 《18. 765625)io 
参数 的 选取 为 :群体 中 染色 体 数 N 为 20 ,变异 率 为 0. 01, 调节 系数 = 为 0. 1, 阅 值 8 为 


9. 05 ,调节 周期 K 为 300 ,适应 度 函 数 定义 为 /= 

对 子 每 个 函数 ,选取 不 辣 种 类 的 随机 数 模拟 10 次 . 图 12. 1 为 的 优化 结果 ,其 中 图 12.1 
(a) 为 传统 GA 的 优化 结果 ,图 12. 1(c) 为 改进 后 GA 的 优化 结果 ,图 12. 1(b) 为 传统 GA 最 终 
所 求 得 的 解 ,图 12. 1(d) 为 改进 后 GA 所 得 的 解 . 图 12. 2 和 图 12. 3 分 别 为 对 函数 沁 和 为 的 模 
拟 结果 . 

从 实验 结果 可 以 看 出 改进 后 的 GA 能 有 效 地 防止 陷 人 局 部 极 小 ,在 多 数 傅 况 下 都 能 找到 
全 局 极 小 点 或 多 局 维 极 小 点 , 面 在 相隔 的 参数 下 ,传统 GA 却 易 子 聊 人 局部 极 小 点 - 本 算法 的 
不 足 之 处 是 计算 量 较 大 ,与 传统 GA 相 比 收 生 速度 有 所 降低 . 
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图 12.23 传统 GA 与 改进 GA 相应 的 优化 结果 
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图 12.3 传统 GA 与 改进 GA 相应 的 忧 化 结果 


3$12.2 一 种 快速 收敛 的 速 传 算法 

GA 比 起 其 他 搜索 算法 ,主要 优点 是 简单 .通用 、 鲁 棒 性 强 , 但 其 不 足 之 处 是 由 于 搜索 空间 大 , 计 
算 量 大 ,办 而 收 敏 速度 偶 . 特别 是 , 当 求 解 的 问题 复杂 时 ,使 得 所 构造 的 染色 体 的 结构 及 长 度 增 大 , 搜 
索 空 间 增 大 , 收 倒 速 度 慢 的 问题 就 越 显得 严重 . 本 节 针 对 这 一 问题 ,提出 了 一 种 改进 的 快速 收 敏 的 
遗传 算法 ,并 以 八 皇 后 问题 为 例 加 以 验证 ,实验 结果 表明 了 这 一 方法 的 有 效 性 . 

一 、 快 速 收 敏 的 遗传 算法 

传统 的 遗传 算法 是 依据 求解 问题 来 确定 染色 体 编码 形式 及 定义 串 长 度 , 然 后 初始 化 随机 
生成 的 六 个 染色 体 并 组 成 一 个 群体 ,再 对 群体 中 的 染色 体 实施 遗传 操作 以 搜索 代表 优化 解 的 
染色 体 . 

快速 收 敏 遗传 算法 增加 了 对 染色 体 的 分 割 (dividing) 与 重组 (recombinatiom) 操 作 . 分 割 意 
担 将 桨 色 体 的 定 长 串 分 害 虑 若干 段 , 每 段 内 可 能 包含 若干 个 基因 .该 算法 首先 依据 于 各 段 的 结 
构 和 有 段 长 ,分 别 初始 化 随机 生成 的 N 个 染色 体 自 (chromosome segment) 组 成 的 段 群 体 (seg- 
mented population) ,然后 对 各 有 眉 群体 独自 实施 遗传 操作 以 寻找 优化 段 , 最 后 ,再 对 选 出 的 优化 
段 实施 重组 操作 ,重新 组 合成 完整 的 染色 体 来 搜索 优化 解 - 

锯 速 收 伍 遗 传 算法 的 步 双 如 下 : 

(1)》 确定 染色 体 C 的 编码 形式 , 选 定 C 的 适应 度 函 数 下 CC)- 

(2) 对 染色 体 C 按 其 结构 及 长 度 工 实施 分 割 操作 ,生成 于 个 染色 体 引 . 基于 每 个 染色 体 段 
各 自 随 机 地 生成 类 个 段 群 体 ,P 世 一 {C5) ,其 中 区 这 1,2,…* 玫 ) 为 自 群 体 导 ,77 一 1,2， IN) 
为 段 群 体内 染色 体 号 。 

〈3) 定义 染色 体 段 的 段 适应 度 函 数 为 ; 

AGO 一 FCP) 一 FOR U CE U…UCEUGUCGU 和 UGE) 

(12.2.T) 

其 中 上 标 g(g 袜 D) 表 未 代数 ,CfG 一 1,2,… 了 是 依据 段 适应 度 函 数 广 (CE)》 (一 1,2 mm N) 
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求 得 的 第 8 代 的 各 稻 群 体 中 的 最 优 染色 体 段 ,而 &E 十 1 代 的 各 段 群体 中 的 各 染色 体 段 的 适应 
度 值 由 产 …(C 扩 ') 求 得 ,对 第 ; 段 群 体 求 其 g 十 1 代 最 优 染色 体 段 Ci 时 要 用 到 &g 十 1 代 最 优 
染色 体 段 ( 当 段 号 小 于 守 时 ) 和 如 代 最 优 染 色 体 段 ( 当 段 号 大 于 守 时 ) ,依据 (12. 2. 1) 式 求 得 的 
产 (C8 ) 越 大 ,表示 县 C8 越 优 , 最 后 在 N 个 染色 体 侦 中 选取 一 个 最 优 的 命名 为 C 入 !. 由 
〈12. 2. 1) 臣 定义 的 染色 体 的 段 适应 度 函 数 可 见 , 产 ”… 是 动态 变化 的 , 即 产 ”: 随 8 代 和 8 二 1 代 
各 段 群体 中 的 最 优 娄 色 体 段 的 不 同 而 不 同 ， 
(4) 依据 (12. 2. 1) 式 计算 各 P[ 中 染色 体 的 妈 适 应 度 far:(Cg+ ) ,并 将 段 群体 内 的 染色 
体 分 别 按 其 段 适应 度 值 由 大 到 小 排序 - 
《5) 搜索 过 程 以 下 面 循环 体 实现 . 
吾 一 05 
forC 91{ 
如 一 合十 于 
for Gi 一 135i< 一 Ai 十 十 》 
{ 对 段 群体 PUF 按 传统 的 遗传 算法 实施 遗传 扣 作 产生 2m 个 子 染 色 体 ,2m< 
< 
蔡 换 PU 中 段 适 应 度 值 小 的 2zz 个 染色 体 , 即 PUI 中 的 后 2r: 个 染色 体 ; 
for 人 一 1i7< 一 Ni 十 十 ) 
{C 一 CUCE UCPa CR UCRUUC5 
计算 FCCf+ 
ECCf 满足 目标 解 ? 
解码 C 人 ,得 到 目标 解 ,算法 结束 ， 














else 
Je CS) 一 FCCY+ Di 
} 
按 PUi 中 段 适应 度 值 由 大 到 小 将 染色 体重 新 排序 ; 
】} 
} 
假定 一 次 遗传 操作 产生 2mz 个 子 染 色 体 , 那 么 传统 的 GA 需要 计算 适应 度 的 次 数 为 2m 
次 :改进 的 算法 对 于 一 个 段 群 体 的 一 次 遗传 操作 若 产生 2zz 个 于 染色 体 , 则 实际 上 对 于 天 个 自 
群体 来 说 相当 于 产生 了 2mjY' 个 子 染色 体 , 而 对 于 适应 度 的 计算 量 为 KN 次 ;对 于 传统 的 
SA 来 说 , 若 产生 ?zjN 一 个 于 染色 体 , 则 计算 子 染 色 体 适应 度 的 量 亦 为 2mNe: 次 ,显然 下 
式 成 立 :2mrN > RN. 因而 改进 的 算法 在 产生 同样 个 数 的 子 染色 体 时 能 大 大 减少 其 适应 度 
的 计算 量 , 所 以 能 大 幅度 加 快 收敛 过 程 . 
二 、 实 验 结果 
本 节 以 八 皇 后 问题 为 例 对 快速 收 伍 的 遗传 算法 进行 了 验证 . 八 皇 后 问题 是 一 个 NP 问 
题 , 是 把 八 个 皇后 摆 在 8X8 的 棋盘 上 ,使 得 没有 一 个 皇后 能 俘获 任何 别 的 皇后 , 即 每 一 行 、 列 
仅 有 一 个 皇后 ,每 条 对 角 线 上 至 多 有 一 个 皇后 . 
1. 染色 体 的 编码 
八 皇后 问题 的 解 可 以 用 一 个 8X8 拢 阵 来 表示 : 
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4 An An 
4 一 |4， As ae 《12. 2 2)》 
4a Ana As 


染色 体 的 编码 为 {0,1} 上 长 度 为 64 的 位 串 ,1 表示 该 位 置 有 和 皇后 ,0 表示 该 位 置 无 皇后 . 
2. 克 色 体 的 分 割 
本 实验 将 染色 体 分 别 分 割 为 2 段 4 段 和 8 段 ,下 面 给 出 当 天 一 4 时 各 绒 所 包含 的 位 囊 . 
《hn mA4a4amAe)EPI 
《avAiAa mAa)EPIP 
(As AceAe)EPI 














《An AAA As) 《12. 2. 3) 
3. 适应 度 函数 的 选取 
定义 函数 
| 
囊 一 密 | 闷 4 一 ! 《12. 2. 4 
各 | 各 
| 。 
防 = 了 | 羡 4 一 1 (12. 2. 5) 
名 | 气 
2s8-1 8 8 4 落 ; 二 7 一 1 一 大 
五 :一 码 门 一 1 ， 1) 一 、 2. 
站 2( 宇 六 汪 一 ])， BChs) 人 下风 《12. 2.6) 
2 4 着 站 8 二 
瑟 | 一 4) 一 1， AD 一 上 ,2.7 
4 一， 40 二 震 则 《12. 2.7》 
瑟 一 五 十 五 :十 五 : 十 五 4 《12. 2. 8) 
其 中 ;分别 表示 行 号 和 列 号 ; 
2 著 了 >0 
sc 人 车 zc 《12.2.9) 


上 述 诸 函 教 的 定 文 使 得 瑟 =0 和 及 一 0 保证 每 行 和 每 列 上 仅 有 一 个 皇后 , 孔 一 0 和 瑟 一 

0 保证 每 条 对 角 线 上 至 多 有 一 个 皇后 ,显然 满足 目标 解 时 已 一 0. 适应 度 函 数 定义 为 : 
1 
5 一 HT 

由 定义 可 知 0<F<s1. 当 找 到 目标 解 时 F 一 1, 算 法 结束 - 

图 12. 4 为 使 用 传统 遗传 算法 解决 人 皇后 问题 的 适度 度 变 化 曲线 ,图 12. 5 为 使 用 快速 收 
敏 的 遗传 算法 时 的 适应 度 变化 曲线 ,其 中 图 12. 5 给 出 了 & 一 2,4,8 的 三 种 情况 . 从 图 12.4 和 
图 12. 5 对 比 可 以 看 出 快速 收敛 的 遗传 算法 极 大 加 快 了 收 敏 速度 . 另外 ,使 用 该 方法 对 函数 如 
lgz 和 sinz 的 求解 也 进行 了 模拟 实验 ,. 收 到 了 同样 的 效果 . 


《12. 2. 107 
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图 12. 4 采用 传统 GA 的 透 应 度 变化 典 线 图 12.5 ”采用 快速 GA 的 适应 度 变化 曲线 
312.3 求解 多 值 优化 问题 的 回溯 遗传 算法 





可 











对 于 许多 问题 ,合理 的 解 次 方案 不 止 一 个 ,在 很 多 情况 下 ,需要 得 到 所 有 的 或 者 大 部 分 目 
标 解 ,这 时 GA 便 无 能 为 力 了 . 原因 是 GA 在 选择 父 本 时 是 以 适应 度 为 依据 的 ,最 优 解 一 经 产 
生 , 它 的 适应 度 就 要 高 于 其 他 所 有 的 染色 体 ,因此 会 引导 全 局 的 搜索 继续 朝 这 个 方向 进行 ,而 
将 种 群 中 其 他 信息 逐 新 执 弃 ,最 后 导致 种 群 中 充满 了 与 这 种 模式 相同 或 相近 的 染色 体 , 这 种 状 
态 一 经 形成 便 很 难 再 产生 其 他 的 最 优 解 . Deb 玉 等 人 较 系 统 地 研究 了 多 峰 函 数 的 优化 问题 . 所 
采用 的 方法 是 用 群集 来 保持 种 群 的 多 样 性 ,但 这 种 方法 在 很 多 情况 下 还 是 不 通 的 . 针对 这 类 问 
题 本 节 提 出 了 一 种 回 湖 的 遗传 算法 (Backtracking Genetic Algorithmy, BGA) ,这 种 方法 的 基本 
思想 是 :算法 在 选 代 过 程 中 每 找到 一 最 优 解 ,种 群 便 僚 复 到 若干 代 前 的 状态 ,并 对 种 群 中 被 标 
记 做 过 父 本 的 及 那些 与 父 本 海 明 昕 离 相 近 的 染色 体 的 适应 度 值 进行 自 适 应 调节 使 之 降低 ,从 
而 在 其 后 的 搜索 过 程 中 降低 其 被 选 作 父 本 的 概率 ,以 引导 搜索 朝 其 他 的 最 优 甫 方 向 进行 ,使 之 
避免 产生 相同 的 解 .本 节 以 一 多 峰 沙 数 Y 一 sin(X) 和 图 着 色 问 题 为 例 对 BGA 的 有 效 性 进行 了 
说 明 ， 

一 ,回潮 的 遗传 算法 (BGA)7 

1.BGA 的 特点 

BGA 较 GA 相 比 有 以 下 特点 : 

(1) BGA 中 巢 色 体 的 适应 度 值 可 在 搜索 过 程 中 自 适 应 地 进行 调节 . 

《2) 设置 一 堆栈 ,算法 每 迭代 若干 次 , 便 将 种 群 中 所 有 的 染色 体 作 为 一 集合 压 栈 保存 以 便 
漳 时 人 恢复. 与 普通 堆栈 不 同 的 是 ,在 把 乒 顶 的 染色 体 集合 恢复 为 当前 种 群 时 ,该 集合 依然 保 
存在 栈 中 . 

(3) 算法 每 选 代 一 次 都 把 栈 项 集合 中 的 全 部 或 部 分 染色 体 与 折 选 的 父 本 相 比 较 , 如 果 其 
中 某 条 与 所 选 的 父 本 相同 或 在 海 明 臣 离 上 相近 , 则 对 栈 顶 集合 中 的 该 染色 体 进 行 标记 . 

《4) 对 于 最 优 解 适应 度 值 事 先 可 确定 的 问题 ,例如 本 节 中 的 图 着 色 问 题 , 如 果 找 到 一 个 最 
优 解 或 者 经 历 若 干 代 不 再 收敛 ,算法 回 淹 - 对 于 最 优 解 适应 度 值 事 先 不 可 确定 的 问题 ,例如 
TSP 问题 ,如 果 算法 经 历 若 干 代 不 再 收 伍 , 则 表明 算法 可 能 已 找到 了 最 优 解 ,算法 回 淹 . 算法 
在 每 次 回潮 之 前 都 把 当前 最 好 的 染色 体 的 编码 及 其 适应 度 值 记 录 下 来 . 





百 
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2. 回 渐 机 制 
定义 12.4 王 为 一 参数 ,如 果 一 染色 体 集 合 中 被 标记 做 过 父 本 或 与 父 本 海 明 臣 离 相近 
( 海 明 上 离 确定 视 情况 而 定 ) 的 染色 体 总 数 小 于 mm, 则 该 集合 为 有 效 集合 (valid set)， 
定义 12.2 ”如果 一 非 栈 底 妇 色 体 集合 中 被 标记 做 过 父 本 或 与 父 本 海 明 距 离 相近 ( 海 明 距 
离 确 定 视 情况 而 定 ? 的 染色 体 总 数 症 ,由 该 集合 为 无 效 集合 (invalid set)- 
定义 12.3 当 算法 回 湖 将 一 染色 体 集合 馈 复 为 当前 种 群 时 ,根据 该 集合 中 每 条 染色 体 做 
父 本 的 标记 状况 将 那些 被 标记 过 的 染色 体 的 适应 度 值 乘 以 一 参数 (0<c<1) 使 之 降低 , 称 x 
为 调节 系数 (adjusting facror). 
定义 12.4 当 算 法 迁 代 过 程 中 ,如 果 经 过 BF 代 仍 不 能 产生 更 好 的 子 染 色 体 , 则 算法 
潮 . BF 为 一 参数 , 称 之 为 回潮 因子 (backtracking factor). 
回潮 的 方法 是 ， 
针 检查 栈 项 所 保存 的 染色 体 集合 是 否 为 有 效 集合 ,如 果 是 无 效 集 合 则 废 弈 孩 集合 ,将 
从 栈 中 清除 并 返回 四 . 
@@ 若 为 有 效 集合 , 则 根据 该 集合 中 每 条 染色 体 做 父 本 的 标记 状况 ,将 那些 被 标记 过 的 染 
色 体 的 适应 度 值 乘 以 调节 系数 = 使 之 降低 ,并 将 集合 中 所 有 克 色 体重 新 排序 . 庆 弃 当前 的 条 
群 , 饶 复 栈 顶 的 染色 体 集合 为 当前 种 群 ,并 连同 各 染色 体 调节 后 的 适应 度 值 一 同 恢复 . 栈 项 的 
染色 体 集合 仍 保存 在 栈 中 . 这 里 , 栈 底 的 集合 永远 都 是 有 效 集合 . 
因为 GA 再 生 时 选择 父 本 是 以 适应 间 为 依据 的 ,将 那些 做 过 父 本 或 与 父 本 相近 的 染色 体 
的 适应 度 降低 ,使 在 以 后 的 再 生 过 程 中 降低 其 被 选 做 父 本 的 概率 ,以 避免 生成 相同 的 子 染 色 
体 , 从 而 引导 搜索 遍 其 他 的 最 优点 进行 . 
BGA 的 其 他 操作 如 交叉 变异 均 与 G&A 相同 - 
二 、 站 法 步骤 
在 介绍 算法 前 先 介绍 一 下 算法 所 用 的 主要 的 常量 .变量 的 作用 . 
常量 ;SIZE,BF ,8,NnayTaya- 
变量 :g,is. 
BF 为 罗湖 因子 . 算法 每 隅 SIZE 代 将 种 群 中 所 有 妆 色 体 为 一 集合 压 栈 保 存 ,SIZE 称 为 步 
长 . 为 种 群 中 染色 体 总 数 . 每 次 再 生 选 择 = 对 父 本 进行 交叉 、 变 异 产生 22 条 子 染色 体 . e 为 
调节 系数 . 8 为 父 本 选择 系数 . 变量 8 记录 算法 总 的 选 代 次 数 . 变量 ; 为 从 一 最 近 的 回 淹 点 算 起 
算法 的 迭代 次 数 . * 记录 解 的 序号 ., Te 为 算法 最 大 迭代 次 数 . 
在 实验 中 由 于 采用 的 例子 中 染色 体 的 适应 度 函 数 公式 只 与 允 色 体 编码 有 关 , 和 选 代 次 数 
及 其 他 因 过 无关, 所 以 每 次 欠 代 只 计算 新 生成 的 染色 体 适 应 度 . 
对 子 最 优 解 适 应 度 值 确定 的 问题 算法 如 下 : 
main( 了) 
《初始 化 , 随机 生成 六 条 素 色 体 为 初始 种 群 , 求 其 适应 度 值 ,并 按 适 应 度 值 由 离 到 低 
的 顺序 排序 ;5 一 03i 一 0;s 一 1 
for( 3 ， ) 
{ 于 《区 盖 Jms) 
breaky 
让 (g 好 SIZE 一 0) 





瑟 
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} 


将 当前 种 群 为 一 集合 压 栈 保 存 . 
依据 当前 种 群 中 各 染色 体 排序 状况 选择 = 对 父 本 ,进行 交叉 .变异 产生 2z 条 
子 染 色 体 , 求 其 适应 度 值 ,并 与 种 群 中 原 有 的 N 条 染色 体 一 起 重新 排序 ,如 果 
一 新 生子 染色 体 与 某 条 原 有 的 染色 体 适 应 度 值 相 同 ,那么 ,新 生 的 子 染色 体 将 
排 在 前 面 ,淘汰 后 2” 条 染色 体 . 
将 栈 顶 集 合 中 各 条 染色 体 仿 次 与 这 一 次 再 生 所 选择 的 父 本 相 比 较 , 若 相同 或 
曙 离 相近 (标准 视 情况 面 定 ) 则 对 其 进行 标记 . 
& 一 5 十 15 
一 ;11 
证 《产生 目标 解 且 与 前 些 次 选 代 所 产生 的 目标 解 不 同 ) 

{ 记 录 该 解 ， 

5 一 5 十 131 一 0 

算法 回 淹 ; 

) 











else 放 (Ci BF )》 


} 


全 05 
算法 回潮 ; 
} 


对 子 最 优点 适应 度 值 不 确定 的 问题 算法 如 下 ， 


main( 


> 





{ 初 始 化 . 随机 生成 六 条 染色 体 为 初始 种 群 , 求 其 适应 度 值 ,并 按 适 应 度 值 由 高 
到 低 的 顺序 ;g 一 05i 一 0js 一 15 
for(5s) 
《证 《8 人 >Tnae》 
break; 
过 Cg%%SIZE 一 0) 
将 当前 种 群 为 一 集合 压 酚 保存. 
依据 当前 种 群 中 各 染色 体 排序 状况 选择 * 对 父 本 ,进行 交叉 .变异 产生 2 条 
子 染 色 体 , 求 其 适应 度 值 ,并 与 种 群 中 康 有 的 N 条 染色 体重 新 排序 , 如果 一 新 
生子 染色 体 与 某 条 原 有 的 染色 体 适 应 度 值 相同 ,那么 ,新 生 的 子 染色 体 将 排 在 
前 面 ,淘汰 后 2 条 染色 体 . 
将 楼 项 集合 中 各 条 染色 体 依次 与 这 一 次 再 生 所 选择 的 父 本 相 比 较 , 若 相同 或 
上 距 离 相近 (标准 视 情况 而 定 ? 则 对 其 进行 标记 . 
8 一 8 十 1 
ii 一 证 1 
(Ci2BFD) 
{ 记录 该 解 ; 
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以 上 是 本 节 提 出 的 回潮 的 遗传 算法 . 该 算法 可 以 有 效 地 处 理 多 解 问题 ,但 此 算法 有 一 个 足 
之 处 就 是 在 每 次 选择 父 本 时 ,都 要 将 其 与 栈 项 集合 中 的 每 条 染色 体 相 比较 ,开销 大 . 因此 ,对 这 
种 算法 做 了 进一步 改进 ,算法 与 前 者 大 致 相 局 ,只 是 在 计算 父 本 与 栈 顶 集合 中 的 染色 体 海 明 距 
离 时 并 不 与 栈 顶 集合 中 所 有 的 染色 体 根 比 较 , 而 只 是 与 前 若干 条 人 (p 条 ?染色体 相 比 较 . 这 是 因 
为 GA 是 以 适应 度 值 为 依据 来 选择 父 本 的 ,一 条 染色 体 的 适应 度 值 越 大 ,其 被 选 艇 父 本 的 概率 
越 大 ,而 种 群 中 的 染色 体 始 终 保 持 按 适 应 度 值 由 高 到 低 的 次 序 排序 的 ,四 此 ,种 群 中 染色 体 序 
列 越 往 前 其 被 选 做 父 本 的 概率 越 大 ,这 样 的 比较 越 有 意义 . 反之 , 越 靠 后 的 染色 体 被 选 做 父 本 
的 概率 越 小 ,这 种 比较 也 就 失去 了 意义 . 因此 ,只 要 参数 选择 适当 ,这 种 方法 能 在 和 迭代 次 数 基本 




















”不 增多 的 情况 下 有 效 地 减 小 开销 . 


根据 每 条 染色 体 在 种 群 中 的 排序 状况 ,参照 父 本 选择 系数 有 选 出 二 对 父 本 ,并 将 其 复制 ， 
其 中 0<p<lm< 生 六 ,每 个 父 本 选择 的 方法 如 下 : 
亿 i1 
@ 随机 产生 一 个 [0,1] 区 间 的 小 数 c, 若 css8, 则 选择 第 ; 条 染色 体 作 为 父 本 . 结束 
@@ 一 寺 1, 若 i 生 和 ,返回 @@. 
图 当 上 党 ,选择 第 一 条 染色 体 作 为 父 本 ,结束 . 
由 此 可 喝 , 适 应 度 值 最 高 的 染色 体 被 选择 的 概率 为 K1 一 同 ”! ,适应 度 值 次 高 的 染色 体 被 选 
择 的 概率 为 1 一 及 ,再 次 是 所 1 一 月 : ,第 ii>1)? 条 染色 体 被 选择 的 概率 为 ; 
已 (站 一 BE 一 月 后 (12. 3.1) 
依 此 类 推 ,直到 最 后 一 条 染色 体 被 选 做 父 本 的 概率 为 PCN) = 所 1 一 六 A!. 若 所 选 一 对 父 本 相同 , 则 
废弃 其 中 一 条 ,并 按 -上 述 方法 重新 选择 ,直至 两 父 本 不 同 .了 值 的 选取 和 父 本 的 选择 系数 B 有 直接 
关系 . 种 群 中 第 条 染色 体 被 选 做 父 本 的 概率 如 《12. 3. 1) 式 ,由 此 式 可 得 出 ， 
所 
PC 一 (1 一 同一 代 一 及 > (12. 3. 2) 


1 


经 验 得 出 :一 般 来 说 ,如 果 > PCD)<5% ,出 表明 从 第 ;十 1 条 染色 体 起 一 直到 最 后 一 条 被 选 


和 
和 做 父 本 的 概率 很 小 ,这 时 取 Di, 对 算法 的 迁 代 次 数 不 会 有 太 大 昌 响 . 因此 ,D 应 满足 ， 
(1 一 Dp < 必 5 移 十 (1 一 及 (12. 3. 3) 











三 、 实 验 结 果 

1. 问题 说 明 

实验 中 所 取 的 多 峰 函 数 为 Y 一 sin(X) ,如 图 12. 6 所 示 ,定义 域 在 [0,32] 之 间 , 存 在 5 个 极 
小 点 ,本 实验 是 要 利用 BGA 找 出 所 有 极 小 点 的 和 值 或 其 近似 值 ， 

图 着 色 问 题 是 著名 的 易于 描述 难于 解决 的 NP 完全 问题 实验 中 所 用 的 例 于 是 一 个 10 点 
四 色 问 题 . 如 图 12.7 所 示 , 有 (1,2,…，,10? 个 点 ,两 点 间 有 连 线 则 代表 两 点 相 邻 ,否则 代表 两 点 
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不 相 邻 .有 红 \ 黄 、 蓝 、 绿 四 种 颜色 ,和 任何 相 邻 两 点 颜色 都 不 癌 的 着 色 方案 则 是 一 合法 的 配色 方 
案 . 对 于 该 问题 整个 搜索 空间 有 4 一 1048576 个 点 ,有 24 种 合法 的 着 色 方 案 . 本 实验 的 目的 
是 要 利用 BGA 找 出 所 有 的 或 大 部 分 合法 的 着 色 方 案 ,而 这 对 于 GA 来 讲 是 不 可 能 的 . 
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2. 染色 体 编码 


对 于 多 峰 函 数 Y 一 sin(X2 的 优化 问题 ,染色 体 编码 为 定义 在 字母 表 {0,1} 上 的 字符 串 , 长 度 为 15 
位 .每 条 染色 体 代表 一 个 [0.32] 区 间 的 一 个 正 数 , 前 面 5 位 代表 整数 部 分 ,后 10 位 代表 小 数 部 分 , 如 
《000111010100000) 一 (00011. 1010100000》: 一 (3. 65625)o， 

对 于 四 色 问 题 , 桨 色 体 编 码 为 定义 在 字母 表 (0,1,2,3} 上 的 长 度 为 10 的 定 长 串 .0 代表 红 
色 ,1 代表 黄色 ,2 代表 蓝 色 ,3 代表 绿色 . 由 左 到 右 的 每 一 位 分 别 代表 由 1,…,10 的 各 个 点 的 
颜色 . 整个 一 条 染色 体 则 代表 一 种 着 色 方 案 . 

3. 适应 度 函 数 的 确定 

对 于 多 峰 函 数 Y 一 sin(X)7 的 优化 ,适应 度 本 数 确定 为 : 











CO 一 江 《12. 3.4) 
显然 靖 委 1. 请 越 接近 1, 表 明 此 染色 体 所 代表 的 解 越 接近 最 优 解 . 

对 于 四 色 问 题 ,用 一 10X10 矩阵 来 擅 述 各 点 的 邻接 情况, 如 (12. 3. 5) 式 所 示 ， 
lliooolol ol 
1olilocollioll 
1] 1100100100 0 
0Lilo0o0o01l100i1 

Ac|2020200001l1l310 0a2.3.5》 
01000011 1 0 
111111o111 
000011101 0 
11001111l1oo0 
[ii01001009| 

对 于 任意 A[ 让 BF]《i 坏 旋 , 如 果 4[ 实 [ 门 一 1, 人 代表; 两 点 相 邻 . 如 果 4 [可 [7 门 王 0, 则 代 


表 i7 两 点 不 相 邻 ,对 于 任何 这 几 ISi 生 10),A[i][I7 门 =0; 
对 于 一 染色 体 C 一 (glgz…gin]y&i 代 表 第 ;i 个 基因 ,适应 度 函 数 确定 为 
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PIO=- 一 wmL 《12.3. 6) 
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1， 如果 A[[D 门 一 1 且 本 一 名 
0， 否则 

由 (12. 3. 6》 《12. 3. ?7) 式 可 见 当 C 为 一 合法 的 着 色 方 案 的 编码 时 /(C) 一 1. 

对 于 了 Y 一 sin(X)? 的 优化 问题 ,实验 中 种 群 染色 体 总 数 N 取 值 为 50. 每 次 迭代 取 ?一 1 对 父 
本 进行 交叉 ,变异 产生 两 条 子 染色 体 , 调节 系数 * 一 0. 1, 父 本 网 择 系数 p 一 0. 3, 步 长 SIZE 一 
30, 回溯 因子 BF 一 100，BGA1 则 每 选择 一 对 父 本 与 栈 项 集合 中 所 有 的 染色 体 进行 比较 . 
BGA2 每 选择 一 对 父 本 只 与 栈 顶 集合 中 前 20 条 (了 一 20) 染 色 体 进 行 比较 ,BGA3 则 每 选择 一 
对 父 本 只 与 前 10 条 (D= 一 10 ) 染色 体 进 行 比 较 , 对 BGA1.BGA2、.BGA3 各 以 不 同 种 类 的 随机 
数 模拟 了 多 次 ,基本 上 都 能 在 2000 代 左 右 找到 所 有 解 . 三 者 在 迭代 次 数 上 无 太 大 差别 . 表 
12. 1 给 出 了 利用 BGA1.BGA2 .BGA3 所 得 的 优化 结果 中 较 好 的 一 种 情况 . 三 者 均 只 需 四 次 
回 淹 便 找 出 5 个 最 优点 ,说 明了 BGA 的 有 效 性 . 氏 算 法 本 身 的 随机 人 性 的 特点 表 中 所 示 的 选 代 
次 数 并 不 能 完全 说 明 BGA1 .BGA2 和 BGA3 在 最 终 迭 代 次 数 上 的 差别 ,但 可 算出 它们 和 迭代 
一 次 所 需 的 时 间 不 同 . 从 表 中 可 以 得 出 : 

BGA1 平均 每 迭代 一 次 所 需 时 间 为 29. 710448/639<^z0. 0465 s5 

BGA2 平均 每 选 代 一 次 所 需 时 间 为 22. 44108/559=“z0. 04015 s; 

BGA3 平均 每 迭代 一 次 所 需 时 间 为 27. 0417027709xz0. 0381 s， 

BGA 与 GA 相 比 ,额外 的 开销 主要 体现 在 父 本 与 栈 顶 集合 中 的 染色 体 的 比较 标记 上 . 其 
他 操作 如 压 栈 , 出 栈 ,算法 选 代 若干 代 才 做 一 次 ,所 需 额外 时 间 开 销 很 少 ,因此 可 以 忽略 不 计 ， 
实验 得 出 : 

BGA1 较 GA 平均 每 迭代 一 次 所 需 的 额外 开销 约 为 29%:# 

BGA2 较 GA 平均 每 迭代 一 次 所 需 的 额外 开销 约 为 11.5%# 

BGA3 较 GA 平均 每 迭代 一 次 所 需 的 额外 开销 约 为 5.8%%， 

可 见 BGA2.BGA3 较 BGA1 能 够 有 效 地 减 小 额外 开销 ,但 疙 值 的 选取 要 适当 , 若 刀 值 过 大 , 开 
销 增 大 ,而 刀 值 过 小 ,对 回潮 之 后 的 父 本 选择 又 不 能 正确 指导 . 实验 中 8 取 值 为 0.3, 则 DZ9 时 ， 
BGA2、.BGA3 较 BGA1 在 最 终 选 代 隐 数 上 相差 不 大 ,实验 也 说 明了 这 一 点 . 

对 于 着 色 问题 ,实验 中 种 群 的 染色 体 总 数 N 取 值 为 40, 每 次 再 生 选 择 a 一 1 对 父 本 进行 交 
叉 , 变 异 生成 两 个 子 煞 色 体 . 调节 系数 * 一 0. 5, 父 本 选择 系数 5 一 0. 3 , 步 长 SIZE 一 300, 回 潮 因 
于 BF 一 500.BGA1 每 次 达 代 把 栈 顶 集合 中 所 有 染色 体 与 这 一 次 所 选择 的 父 本 相 比较 ,对 当中 
与 所 选 父 本 相同 的 或 海 明 距 离 相近 的 染色 体 进 行 标记 , BGA2 只 与 前 20 条 (也 = 20) 相 比 较 ， 
BGA3 则 只 与 前 10 条 (了 一 10) 相 比 较 . 对 BGA1、BGA2 和 BGA3 都 以 不 同 种 类 的 随机 数 模 
拟 了 多 次 ,三 者 基本 上 都 能 在 30000 代 左 右 找到 所 有 解 . 所 需 迭 代 次 数 大 致 相同 . 表 12. 2 给 出 
了 利用 BGA1、.BGA2、.BGA3 所 得 的 优化 结果 中 较 好 的 一 种 情况 . 实验 得 出 : 

BGA1 和 迭代 一 次 所 需 时 间 为 285. 450213/19892<<0.01435 s; 

BGA2 选 代 一 次 所 需 时 间 为 268. 256893/20720<“0.01295 s# 

BGA3 迭代 一 次 所 需 时 间 为 253. 230991/20528<z0.01234 s; 


Go 一 | (12. 3.7) 
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BGA1 较 GA 平均 每 迭代 一 次 所 和 需 的 额外 开销 约 为 23. 2856: 

BGA2 较 GA 平均 每 迭代 一 次 所 需 的 额外 开销 约 为 11. 28%# 

BGA3 较 GA 平均 每 迷 代 一 次 所 需 的 额外 开销 约 为 5. 76%. 

可 见 BGA2.BGA3 能 较 BGA1 在 不 增加 选 代 次 数 的 情况 下 显著 地 减 小 额外 开销 . 因 算 法 


本 身 的 随机 性 的 影响 ,所 以 所 得 的 结果 并 不 完全 成 比例 . 
表 12.1 多 峰 函 数 放 一 sin{X) 的 优化 结果 






































BGAT BGA2 BGA3 
序号 ”所 得 解 时 间 /s ”代表 | 序号 “所 得 解 时 了 间 /s ”代数 | 序号 所 得 解 时 间 /s 代数 
1 10.595 3.501 4 110395 和 313 30 1 29. 844 3.803 18 
2 29.843 1.294 186 | 2 29.875 7.7985 145 | 业 719 8.682 172 
3 17.381 15-389 303 | 3 4718 12.635 279 | 3 10.996 13.204 312 
4 8 22.419 471 | 4 23.561 17.380 428 | 4 23. 566 17.087 。 42 
5 23.562 29.710 639 | 5 17.281 22.441 559 5 17,278 27.042 709 
表 12.2 着 色 问题 的 优化 站 果 

BGA1 BGA2 BGA3 

序 导 时 间 /s 代 吾 序号 时 间 As 代数 序号 时 间 /s 找 数 
1 2. 734508 181 1 5. 037816 396 工 087591 22 
2 10. 486272 3721 2 5. 589505 423 2 5.417225 449 
3 11. 518246 793 3 16. 419802 1258 3 6. 029761 502 
4 11. 944172 822 4 22. 421091 1719 4 7. 127107 591 
5 13. 248576 909 5 31. 384891 2416 5 9. 608Z29 800 
6 15. 030547 1032 6 34. 762043 2657 6 13.149103 1101 
7 23. 352355 1618 7 38. 333499 29732 7 13. 573693 1136 
8 30- 860417 2135 8 40. 07766 3067 3 14. 332897 1200 
9 33. 783619 2345 引 46. 534582 3582 9 21. 046492 1707 
10 38. 56951 3673 10 64. 688589 5034 0 29. 605318 2402 
11 48- 207811 3353 11 67.918973 5283 11 32. 274239 2527 
32 50. 337842 3501 12 37. 285939 6031 12 37.731053 3075 
13 51. 596589 3585 I3 97. 557337 7S3T 13 33.72743 3157 
14 52. 924076 3679 4 101.853254 7910 14 56. 925708 4645 
15 58. 919918 4089 15 133. 389333 8608 15 61. 136168 5002 
16 60. 148106 93 16 131. 378538 10189 16 87. 813869 7168 
37 75. 313213 5235 17 144. 690393 11198 17 96.075887 7844 
18 110.829625 7654 18 346.922869 11374 18 115.733969 9418 
19 113. 787599 78565 19 152.750574 11834 19 116. 872501 9507 
20 140. 750044 9755 20 154.101437 11937 20 136.622501 。 11102 
21 189. 347632 13191 21 178.166726 13772 如 160. 549276 。。 13108 
22 213.240405 14840 22 183. 45132 14176 22 194.778211 15621 
23 237.87432 16564 23 267.285283 20651 23 217.78037I 17739 
24 285.450213 19892 324 2368,256895 20720 24 253.230991 20528 
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目前 和 遗传 算法 已 经 在 机 器 学 习 、 人 工 智 能 、 自 适应 控制 .人 工 神经 网 络 训练 .图 像 处 理 、 复 
杂 组 合 优化 问题 求解 等 方面 得 到 了 越 来 越 广泛 的 应 用 - 人 们 对 遗传 算法 已 经 进行 了 大 量 的 改 
进 ,并 使 之 应 用 于 更 广泛 的 领域 , 但 对 于 遗传 算法 收 丝 人 性 以 及 收 敏 速度 等 问题 的 研究 ,与 得 传 
算法 的 应 用 研究 相 比 , 可 谓 甚 少 , 遗传 算法 源 于 自然 选择 和 生物 遗传 学 ,相对 于 其 鲜明 的 生物 
基础 ,遗传 算法 的 理论 基础 公认 是 不 完善 的 - 这 种 不 完善 主要 表现 在 缺少 广泛 而 完整 的 有 关 遗 
传 算法 的 收 伍 性 理论 . 由 于 遗传 操作 的 随机 性 ,使 得 人 们 难于 将 传统 的 遗传 算法 纳 人 恰当 的 便 
于 分 析 的 数学 模型 ,因此 使 得 对 传统 的 遗传 算法 的 收 急 性 分 析 成 为 十 分 困难 的 问题 . 目前 关于 
遗传 算法 收 策 性 的 研 穹 都 是 在 对 于 算法 增加 某 些 限 制 条 件 后 得 到 的 遗传 算法 的 各 种 修正 形式 
的 基础 上 进行 的 . 

关于 遗传 算法 收 敏 性 理论 的 研究 大 穷 是 将 群体 视 为 一 个 随机 变数 ,利用 随机 过 程 的 数学 
模型 , 遗 过 对 随机 变数 的 屯 率 密度 分 布 的 研究 来 考察 随机 变数 的 演变 的 . 20 世纪 90 年 代 中 期 
的 研究 工作 包括 ;1994 年 ,Qi XF 和 palmieri 利用 条 件 概率 与 边缘 分 布 进行 研究 ,给 出 了 演 
变 的 公式 ,但 不 是 马尔 可 夫 (Markov) 过 程 , 没 有 给 出 演变 的 最 终结 果 ;Rudolph G 建立 了 一 种 
遗传 算法 的 有 限 齐 次 马尔 可 夫 过 程 的 数学 模型 ,并 证 上 明了 该 过 程 不 收 和 剑 到 全 局 最 优 解 ; Yae 志 
和 Sethares 允 A 提出 了 一 种 改进 的 遗传 算法 ,并 将 其 应 用 于 非 线 任 参 数 估计 ,利用 随机 变数 
的 均值 性 质 分 析 了 遗传 算法 的 收敛 性 问题 ;1996 年 , 徐 宗 本 .高 勇 分 析 了 址 传 得 法 中 过 早 收 全 
的 起 因 与 特征 ,提出 了 一 种 可 以 预防 和 克服 过 旱 收 伍 的 改进 的 遗传 算法 ,并 证 明了 该 改进 算法 
依 概 率 收 化 到 全 局 最 优 状态 ; 王 丽 微 等 人 从 知识 表示 与 算 符 相 结合 的 角度 考察 遗传 算法 ,提出 
了 一 个 遗传 算法 收 敏 的 充分 条 件 等 等 . 

关于 遗传 算法 收 委任 的 研究 是 进化 计算 理论 研究 的 一 个 重要 课题 , 它 对 于 改进 址 传 算法 
以 及 对 于 遗传 算法 的 座 用 研究 都 具有 重要 的 理论 意义 和 指导 意义 . 但 是 迄今 为 止 , 人 们 还 未 曾 
得 到 一 个 关于 遗传 算 法 的 完整 的 收敛 性 分 析 结果 . 特别 地 ,关于 各 种 改进 的 遗传 算法 的 收 伍 速 
度 佑 计 目前 尚 泡 任何 结果 ,这 是 当前 最 迫切 需要 解决 的 问题 之 一 . 因为 它 能 从 理论 上 对 遗传 算 
法 的 任何 修正 形式 提供 评判 标准 ,以 指明 改进 遗传 算法 效能 的 正确 方向 

本 章 首先 讨论 未 成 熟 收敛 及 其 对 策 , 然 后 对 标准 壮 传 算法 和 另外 两 种 改进 的 遗传 算法 的 
收 敏 人 性 问题 进行 分 析 . 





813.1 未 成 熟 收 化 


未 成 熟 收敛 是 遗传 算法 中 不 可 忽视 的 现象 , 它 主要 表现 在 两 个 方面 ; 

(1) 群体 中 所 有 的 个 体 都 陷于 同一 局 部 极 值 而 停止 进化 ; 

2) 接近 最 优 解 的 个 体 总 是 被 淘汰 ,进化 过 程 不 收 敏 . 

导致 产生 址 传 算法 未 成 熟 收 敏 的 因素 在 算法 运行 的 各 环节 都 可 能 出 现 ,具体 表现 为 : 
《1) 在 进化 初始 阶段 ,生成 了 具有 很 高 适应 度 的 个 体 X; 
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(2) 在 基于 适应 度 比例 的 选择 下 ,大 部 分 个 体 与 X 一 致 ,其 他 个 体 被 淘 涩 * 

《3) 相同 的 两 个 个 体 进行 交叉 操作 ,从 而 不 能 生成 新 个 体 ; 

《4) 经 变异 操作 生成 的 新 个 体 的 数量 少 ,被 海 涩 的 概率 大 ; 

《5) 群体 中 的 大 部 分 个 体 都 处 于 与 头 一 致 的 状态 . 

根据 可 能 出 现 未 成 熟 收敛 的 上 述 情况 ,应 该 在 编码 .适应 度 函 数 和 遗传 操作 等 设计 中 考虑 
相应 的 对 策 , 以 抑制 或 避免 未 成 熟 收 伍 现 象 . 此 处 列 出 几 种 可 供 参 考 的 对 策 ; 

(1) 适当 提高 变异 概率 .在 进化 初始 阶段 , 它 可 以 加 强 遗 传 算法 的 随机 搜索 能 力 . 

《2) 调整 选择 概率 - 例如 可 以 把 选择 概率 本 身 也 作为 个 体 进行 优化 、 

(3) 对 适应 度 函 数 进 行 适当 定 宗 . 

《4) 维持 群体 中 个 体 的 多 样 狂 . 可 以 采用 如 下 具体 措施 :@ 增 大 群体 规模 ,但 要 考虑 计算 
量 增 加 的 因素 ;@ 实 邦 局 部 化 :把 群体 分 成 若干 子 群 体 ,每 个 子 群体 独立 地 进行 选择 操作 ,这 
样 可 使 由 于 出 现 不 适当 个 体 而 产生 未 成 熟 收 伍 的 现象 局 部 化 ;图 实施 单一 化 ;控制 套 体 中 相 
同 个 体 出 现 的 个 数 ;@@ 增 大 配对 个 体 距 离 :可 利用 海 明 曙 窗 来 判断 配对 个 体 的 相似 程度 ,并 依 
此 决定 是 否 配对 . 

上 述 策略 对 于 抑制 未 成 芍 收 敏 的 效果 可 能 依 待 解决 的 优 多 部 题 的 不 同 而 异 , 因 此 需 经 实 
验 检验 来 确定 采用 何 种 对 策 . 


8$13.2 标准 遗传 黎 法 的 收 化 性 分 析 





车 将 群体 中 的 个 体 视 为 一 个 状态 , 则 群体 中 的 各 种 个 体 的 集合 可 以 视 为 一 种 状态 的 分 
布 . 这 种 状态 的 分 布 根据 遗传 算法 的 运行 而 演变 . 由 于 遗传 算法 的 运行 是 其 有 随机 性 的 ,其 
基本 操作 只 与 当前 的 状态 有 关 ( 与 演变 的 历史 无 关 ), 是 无 后 效 的 , 因此 可 以 把 群体 内 的 个 
体 视 为 一 个 具有 不 同 状态 的 随机 变量 的 概率 密度 分 布 . 于 是 随 着 时 间 区 t 1,2,…) 的 推移 ， 
这 个 随机 变数 的 分 布 在 不 断 演变 - 在 一 定 条 件 下 ,可 以 把 它 看 成 一 个 有 限 的 马尔 可 夫 链 ( 序 
列 ). 

下 面 利用 Markov 链 来 分 析 标准 遗传 算法 的 收 敏 性 问题 . - 

一 、 标 准 遗传 算法 与 Markov 链 

考虑 全 局 优化 问题 

maxfKz):z ED 和 王 RrirDCRe 一 了 R! 《13. 2.1) 

遗传 算法 基于 以 下 两 条 策略 求解 上 述 优化 问题 :人 对 于 给 定 的 下 标 函数 f 得 待 算法 使 用 
了 的 任 一 值 域 非 负 并 与 了 有 相同 根 值 点 的 适应 度 函 数 ;@@ 遗 传 算法 不 直接 作用 于 实 变量 z, 而 
是 作用 子 z 的 某 种 编码 (通常 为 定 长 二 进 制 数 串 编码 ). 所 以 ,对 于 取 定 了 的 住 一 适应 度 函 数 刁 
和 固定 长 度 为 工 的 二 进 制 数 中 编码 ,遗传 算法 通过 求解 组 合 优化 问题 





max{t Fa) :所 加 } (13. 2, 2) 
来 求解 问题 (13. 2. 1). 其 中 忆 一 {0,1) 为 忆 的 编码 空间 , 即 只 中 所 有 实 变 量 的 长 度 为 工 的 二 
进 制 数 串 编码 全 体 . 
求解 部 题 (13. 2. 2) 的 标准 遗传 算法 概述 如 下 
1 初始 化 


器 确定 种 群 规模 关 ` 杂 交 概 率 PE [0, 订 、 变 蜡 概率 PE [0 ,1 及 终止 进化 准则 ; 
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国 从 三 中 随机 选取 闵 个 个 体 (0) 组 成 初始 种 群 
(0) 一 { (0) 和 (0) 50O) 
图 计算 和 (0) 的 适应 度 FC2C0))3 
地 置 天 一 0. 
2. 种 群 变化 
名 对 每 一 % (6 依据 其 适应 度 冉 一 繁殖 概率 六 (RE)3 
加 以 概率 方 (LSiSo 从 避 术 中 随机 选取 两 个 个 体 (如 设 为 天 (有 ,5 人 (有 六 
图 依 概率 户 对 5a (RE) ,5a( 相 进行 杂交 操作 ,产生 两 个 中 间 个 体 S ,S:# 
狼 依 概率 P。 对 3S1 ,5: 进行 变异 操作 ,产生 两 个 新 个 体 ; 
鲜 计 算 册 上述 中 一 图 所 产生 的 2m 个 新 个 体 的 适应 度 ,对 这 2 个 个 体 连 同 2(&)? 击 某 种 
选择 规则 确定 六 个 个 体 组 成 的 新 一 代 种 群 
(十 划一 { 丰 合十 1 和 (十 1)5vBn( 人 十 1)} 
3. 终 止 检 验 
如 果 5 二 1) 已 满足 预 设 的 进化 终止 准则 , 则 停止 ,并 输出 最 优 解 ; 否 则 署 上 一 & 十 1, 转 步 
又 2. 、 
标准 遗传 算法 的 种 群 序列 的 分 布 的 演变 是 一 个 以 巨 为 状态 空间 的 Markov 链 . 由 遗传 操 
作 所 引起 的 种 群 中 基因 的 随机 改变 可 以 由 NXNCN 王 2 ) 阶 转移 概率 矩阵 P 来 记录 , 它 可 以 
分 解 为 随机 矩阵 的 胰 积 ， 
卫 一 CMS 《13.2. 3) 
其 中 CHM 和 分 别 记 录 了 由 杂交 .变异 积 选择 操作 所 引起 的 中 间 转 移 概 率 . 
为 方便 应 用 ,此 处 引用 如 下 定义 和 定理 。 
定义 13.1 NXN 阶 矩阵 卫 称 为 ; 
印 非 负 的 , 若 对 于 所 有 ijE (12 有 有 人 0; 
@@ 正 的 , 若 对 于 所 有 ijE 11,2，…，N)} 有 四 >0. 
非 负 和 王 阵 P 称 为 : 
图 本 原 的 , 若 存在 正 整 数 * 使 刀 为 正 的 . 
图 可 约 的 , 若 遗 过 对 行 和 列 采 用 同样 的 转换 , 尸 可 变换 为 如 下 形式 
吾 争 
[. 宫 ] (13.2. 4) 
其 中 为 零 算 阵 ,为 xn 阶 方 阵 (m<<N). 
图 随机 的 ,车 对 于 所 有 iE {1,2，-，N } 有 > 加 一 1， 
全 
随机 甜 阵 了 称 为 
岛 稳定 的 , 若 王 有 相同 的 行 . 
定理 13.1 设 P 忆 为 本 原 随 机 和 扼 峰 , 则 
一 
是 正 的 稳定 的 随机 甜 阵 ,其 中 
17 一 《1,1,…,1)T 
”一 
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巴 是 初始 状态 分 布 , 玉 是 唯一 的 ,与 初始 分 布 无 关 , 且 满足 好 >>0Ci 一 2) 
定理 13-.2 设 呈 为 可 约 随机 算 阵 ,可 变换 为 (13. 2. 4) 的 形式 ,其 中 吾 为 anXz 阶 本 原 随 机 
算 阵 ,上 且 及 , 开 不 为 零 矩 阵 , 则 
一 
是 稳定 的 随机 和 拖 阵 ,其 中 
一 (Im…，1)T 
了 一 
可 是 初始 状态 分 布 , pr 是 惟一 的 ,与 初始 分 布 无 关 , 且 满足 
2 >0， 当 T<z<m 
好 =0， 当 n<isN 
二 、 收 化 性 分 析 
科学 研究 .工程 实际 与 国民 经 济 发 展 中 的 众多 问题 可 归结 为 “ 极 大 化 效益 . 极 小 化 代价 ?的 
模型 .求解 这 类 模型 导致 寻求 某 个 目标 函数 在 特定 区 域 上 的 最 优 解 ,可 描述 为 (13. 2. 1) 式 . 在 
有 关 这 类 模型 的 相当 多 的 问题 中 ,最 优 和 甫 往往 是 可 以 预先 已 知 的 . 本 节 讨 论 在 自然 选择 下 , 利 
用 标准 遗传 算法 解决 这 类 最 优 解 为 预先 已 知 的 优化 问题 的 收 敏 性 问题 , 以 下 定理 给 出 了 履 敏 
性 分 析 的 结果 . 为 便于 表述 ,假定 问题 只 有 一 个 全 局 最 优 解 . 
定理 13- 3 设 种 群 规模 为 zm, 种 群 的 状态 记 为 (5 , 严 ，……B& ,其 中 而 ( 迹 1,2，…mz) 是 长 


度 为 工 的 二 进 制 串 . 设 适应 雇 函 数 下 () 的 最 大 值 为 
RE (D) 一 FE(B ) 《13.2.5) 

















则 当 种 群 的 状态 达到 
(57 6 (13.2.6) 


时 若 仍 进 行 变异 操作 ， 则 标准 过 传 算法 必 不 收 生 . 而 若 种 群 达到 状态 (13. 2. 6) 后 ,遗传 操作 不 
再 包含 变异 运算 , 则 标准 遗传 算法 收敛 到 (6 ,5 2) ， 
证 明 ” 记 种 群 状态 为 (名 , 训 ，…*bm)- 所 有 的 种 群 状态 构成 一 个 LIXN 的 行 向 晶 ,其 中 六 一 
2 ,这 个 行 向 量 的 每 个 元 素 由 排 在 一 起 的 mm 个 二 进 制 串 构成 ,下 表示 为 , 
人 《13. 2.7) 
注意 到 通过 变异 操作 可 以 达到 (13. 2 7) 中 的 任 一 状态 . 现 设 经 过 若 于 代 遗 传 操 作 ,已 达到 最 优 
种 群 状态 (2” ,2 5 ) ,不 妨 设 其 排 在 状态 行 向 量 的 第 一 个 分 量 处 , 即 
全 全 和 月 和 《13.2.8) 
注意 到 经 过 末 交 操作 (zi- 心 ”2 ) 仍 为 其 自身 ,因此 相应 于 状态 (13. 2. 8 的 下 一 代 的 杂交 


撼 阵 可 以 写成 





C=- [。 < ] (13.2.9) 


其 中 C 为 随机 垂 阵 , 且 每 一 行 至 少 有 一 个 正 的 元 素 ,# 为 六 一 1 维 行 向 最， 
癌 理 ,相应 于 状态 (13. 2. 8) 的 下 一 代 的 选择 矩阵 可 以 写成 


站 
3 一 《13, 2. 10 
[ss] ) 


它 也 是 随机 矩阵, 且 每 一 列 至 少 有 一 个 正 前 元 素 . 
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如 果 达 到 最 优 种 群 后 仍 继续 进行 变异 操作 , 则 种 群 状态 可 达到 (13. 2. 7) 中 的 任 一 状态 ,于 
是 相应 于 状态 413. 2. 8) 的 下 一 代 的 变异 和 抢 阵 可 以 写成 


Mi di ， 
Mr[ 、 ] (13. 2.11) 
Jd2 4 
其 中 Mi 为 随机 矩阵 ,44 为 人 N 一 1 维 行 向 量 , 且 Wi ,Ma ,Mo ,As 的 所 有 元 素 均 大 于 零 。 
如 果 达 到 最 优 种 群 后 不 再 进行 变 努 操作 , 则 相应 于 状态 (13. 2. 8) 的 下 一 代 的 变异 矩阵 可 


以 写成 








1 由 
of ] (13. 2. 12) 
Mo Mo 


其 中 Mt 为 随机 和 矩阵 ,为 N 一 1 维 行 向 量 , 且 Ma ,Mo 的 所 有 元 索 均 大 于 汐 ， 

若 按 (13. 2. 9) ~ (13, 2. 11) 式 进行 演变 , 则 标准 遗传 算法 在 由 状态 (13. 2. 8) 开 始 进行 下 一 
代 遗 传 操作 的 转移 矩阵 为 

了 一 CMS 一 


[ce cpe es。 s 


[ 4 ad 1 多 1] 
Co 十 Ca arcou]Ls so 








RM 十 Ms Su M1iaSa _ 
[< 十 Cai 十 CarMiaSa 十 CoMaSa 。 CaisSo 十 CosB s] 
吾 履 
[ 了 ] (13. 2. 13) 
显然 卫 的 各 子 和 矩阵 吾 ' 也 ,有 ,了 都 是 正 的 ,从 而 三 是 本 原 随 机 和 矩阵 ,于 是 由 定理 33.1 有 
>0 (Ci 一 1,2N) “ ， 《13. 2. 14) 
即 标准 遗传 算法 不 收 策 ， - ， 


若 按 (13. 2. 9) ,(13, 2. 10) 和 (13. 2. 12) 式 进行 演变 , 即 达 到 最 优 种 群 后 就 不 再 进行 变异 操 
作 , 则 标 蕉 遗传 算法 进行 下 一 代 遗 传 操 作 的 转移 概率 矩阵 为 
卫 一 CMS 一 


[ce sw 和， 


[cs os 外]- 


1 和 
[< 十 CoM 十 CoMaSt。 CoMosSz ] 
了 市 
[R 了 ] 13.2.15) 


显然 一 为 可 约 随机 生 阵 , 且 玉 ,7T 不 是 堆 矩 阵 . 若 上 述 规 则 (13. 2. 9) ,(13. 2. 10》 和 (13. 2. 12) 不 
随时 间 而 变 , 则 由 定理 13. 2 有 

Br 一 (的 00) 《13.2. 16) 
其 中 姻 ”>>0. 因为 吧 是 一 个 状态 分 布 , 所 以 应 有 思 ” 一 1. 取 


上 
丫 








第 十 三 覃 ” 坦 传 算法 的 收效 性 ”3257 





mm 一 (10 和 0) 《13.2. 17) 
即 标准 遗传 算法 收敛 到 (8 ,8 8 ) 

上 述 结果 表明 ,变异 操作 是 影响 标准 遗传 算法 的 主要 因素 之 一 . 在 自然 选择 下 , 落 在 造 传 
操作 中 始终 存在 变异 操作 , 山 标 准 遗 传 算法 必 不 收 伍 . 丁当 预先 已 知 全 局 优化 问题 最 大 值 时 ， 
只 要 限制 达到 最 优 种 群 后 不 再 进行 变异 操作 , 则 标准 遗传 算法 必 收 伍 到 全 局 最 优 和 解 . 这 一 结论 
为 在 自然 选择 下 利用 标准 遗传 算法 解决 某 类 最 优 解 为 预先 已 知 的 优化 问题 提供 了 一 种 理论 依 
据 . 一 
关于 遗传 算法 收敛 性 的 研究 ,还 有 些 其 他 欧 结 果 ,但 尚 无 完整 的 收敛 性 理论 . 目前 的 这 些 
结果 取决 于 对 遗传 算法 的 各 种 改进 以 及 所 采用 的 数学 手段 . 现在 通常 是 将 群体 视 为 一 个 隆 机 
变数 ,利用 风机 过 程 的 模型 ,通过 对 随机 变数 的 概率 密度 分 布 或 均值 性 质 来 考察 随机 变数 的 演 
蛮 , 以 此 来 进行 收敛 性 分 析 . 

需要 指出 ,尽管 在 某 些 条 件 下 ,可 以 证 明 改 进 的 遗传 算法 能 够 收 和 伍 至 全 局 最 优 解 ,但 收敛 
所 需 时 间 可 能 很 长 , 这 是 关于 各 种 改进 的 遗传 算法 理论 研究 中 的 一 个 难点 ,目前 尚 无 任何 结 
果 , 也 是 当前 最 氨 切 需要 解决 的 问题 之 一 ,因为 它 能 从 理论 上 对 遗传 算法 的 任何 修正 形式 提供 
评判 标准 ,以 指明 改进 遗传 算法 效能 的 正确 方向 。 


813.3 基于 扩展 串 的 等 价 遗 传 算 法 的 收敛 性 


下 而 独立 地 提出 一 种 与 标准 遗传 算法 的 优化 问题 等 价 的 遗传 算法 , 笃 在 从 理论 上 探讨 得 
传 算法 收敛 的 条 件 与 收 伍 速 度 等 问题 - 

一 .二 值 串 的 扩展 与 优化 问题 的 荨 价 

设 染 色 体 的 长 度 为 工 ,不 同 染 色 体 的 总 数 为 2 ,各 染色 体 是 一 个 二 值 趾 (每 个 曲 取 其 二 进 
制 数 的 值 标志 ). 染色 体 解码 后 为 z ,其 适应 度 为 疡 (x'). 不 失 一般 性 ,可 设 广 (x) 之 0( 对 所 有 
的 取 值 x). 今 根据 这 些 长 度 为 工 的 染色 体 定义 长 度 为 工 十 1 的 染色 体 , 即 把 原来 各 申 前 面 加 0 
或 1. 这 样 的 染色 体 其 总 数 为 2350 个 . 对 扩展 后 的 二 值 趾 的 解码 仅 对 各 中 原来 的 工 个 二 进 制 数 
进行 ,其 解码 后 的 结果 记 为 *, 即 和 本 

z) 


的 = 


定义 经 扩展 的 二 值 中 解码 后 的 适应 度 函 数 为 








_ |AGe3， 。 当 扩 展 后 一 值 昌 首位 为 9 时 
92 一人。 当 扩 展 后 二 值 首位 为 1 时 人 33 
豆 然 
maxfx) 一 2 《7 《13. 3. 2) 


由 此 可 见 ， 这 个 加 长 了 的 染色 体 解码 后 适应 谎 的 极 大 值 与 原 问题 的 极 大 入 是 _- 致 的 .所 以 
对 原 问 题 寻 优 相当 于 对 加 长 染色 体 后 的 问题 的 寻 优 . 
二 、 染 色 体 的 配对 与 分 组 
现 设 问题 具有 惟一 的 最 大 适应 度 , 即 仅 有 一 个 六 使 
Ce )》 一 maxx) 《13. 3. 3) 
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不 妨 设 x" 对 应 的 染色 体 的 基因 的 排列 为 0,1 相间 的 , 即 其 基因 的 排列 为 1 0 1 0 1… 

如 上 绒 所 述 , 扩 展 后 的 长 度 为 工 十 1 的 染色 体 其 总 数 为 2 个 - 现在 将 这 2 个 不 同 的 染色 体 
按照 Hamming 工 离 为 工 十 1 的 原则 进行 配对 , 即 在 每 个 染色 体 对 中 各 染色 体 对 应 的 基因 都 是 不 同 
的 . 如 第 1 个 染色 体 的 第 ; 个 基因 为 1( 或 为 0 , 则 第 2 个 染色 体 的 第 主 个 基因 为 0( 或 为 0). 这 个 染 
色 体 对 的 适应 度 的 最 大 俏 就 是 第 1 个 基因 为 0 的 染色 体 的 适应 度 . 按照 这 样 的 配对 方式 ,这 2 个 
不 同 的 染色 体 可 以 配 成 34 个 对 . 下 面 对 这 2 个 染色 体 对 进行 分 组 ， 

第 0 组 :上 十 1 个 基因 均 为 0 和 均 为 1 的 染色 体 对 称 为 第 0 组 ; 

第 7 了 组 : 凡 第 ;一 ! 组 的 各 妇 色 体 对 ,各 对 进行 杂交 后 ,得 到 的 所 有 的 新 的 染色 体 对 的 集合 
称 为 第 /组 . 

一 般 地 ,可 分 为 工 十 1 个 组 (从 第 0 组 到 第 工 组 ), 第 ; 组 的 染色 体 对 的 数目 为 Cr 个 . 

三 \ 不 考虑 适应 度 的 厅 交 

我 们 把 上 述 分 给 后 得 到 的 每 一 组 看 成 一 种 状态 ,于 是 共有 上 工 十 1 个 状态 , 即 在 同一 组 内 的 
各 不 同 染 色 体 对 被 视 为 同一 种 状态 . 将 群体 内 的 染色 体 对 看 成 一 个 随机 变数 红 以 0,1，…， 工 
标志 其 工 十 1 个 状态 ) , 它 具 有 概率 分 布 . 考虑 单 点 杂交 操作 ,杂交 后 群体 内 状态 的 所 率 分 布 将 
发 生 演变 ,这 种 演变 形成 了 随机 过 程 f(t),: 一 1,2,…- 为 了 汐 握 群体 内 状态 的 概率 分 布 ,我 们 
必须 首先 了 解 由 杂交 引起 的 转移 概率 密度 加 ,此 处 

有 一直 (人 (十 1) 一 让 的 划一 六 Cs 一 0 1 工 ) 《13. 3.4) 

现在 来 确定 访 . 从 分 组 的 方法 可 以 看 出 ,第 组 中 的 染色 体 对 , 必 由 第 /一 1 组 的 染色 体 杂 交 而 
得 ,而 第 ?7 组 中 染 色 体 对 杂交 后 的 染色 体 对 只 可 能 在 第 /一 1 组 或 第 /二 1 组 中 

第 组 杂交 后 得 出 的 染色 体 对 的 总 数 为 工 Ci . 将 第 7 组 转向 第 j 一 1 组 的 染色 体 对 的 总 数 
记 为 SoC 一 1 2 大) 定义 





















































So 一 0 、(〈13. 3.5) 
将 第 了 组 转向 第 了 十 1 组 的 染色 体 对 的 总 数 记 为 Sirui* 于 是 有 : 本 
. Sn 一 LO 一 Sa 一 0 和 江 一 切 《13. 3. 6) 
六 此 ,第 7 了 组 转向 第 7 一 1 组 的 概率 为 
Sr ，， 
2 《13.3.7) 
第 了 组 转向 第 7 一 1 组 的 概率 为 
Ht 过 2 1 一 外 一 0 一 1D) 《13.3.8) 
注意 到 : 
Si 一 Su 呈 一 0,1: 工 ) (13.3.9) 


于 是 由 (13. 3. 5) 一 (13. 3. 9? 式 可 以 递 推 求 得 第 7 组 转向 第 7 一 1 组 和 第 六 1 组 的 概率 - 进 一 
步 定 义 


pi 当 i=7 一 1 全 一 12) 
we 当 ; 一 了 十 1 人 一 0 … 江 一 1 《13.3.10) 
0， 当 ; 一 1 天 7 二 1 一 0 


可 得 转移 概率 矩阵 p 一 (加 ). 例 如, 一 2 和 了 一 3 时 的 转移 概率 矩阵 相应 为 
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1 
， 0 到 0 
”9 1 0 达 o 
一 |1 0 1 |1,p= 一 
。 0 2 01 
2 
0 0 可 
由 以 上 讨论 可 见 ,p 是 一 个 三 对 角 和 矩阵 , 且 显 然 有 
加 G13.3.11) 
P 一 记 必 十 py 一 (13.3.12) 
固 此 , 随机 变数 # 的 状态 税率 窗 度 向 量 {} 一 [ 避 经 不 断 变换 
人 2 《13. 3. 13》 
后 转移 为 {gD ) ,1g2 ) ，{go")，，, 它 是 一 个 有 限 齐 次 马尔 可 夫 链 . 
四 .考虑 适应 度 的 杂交 


现在 研究 杂交 以 后 考虑 适应 度 的 情形 . 研究 第 ) 组 ,经 杂交 后 转移 到 第 ;一 1 组 的 概率 为 
记 -av ;经 杂交 后 转移 到 第 ;十 1 组 的 概率 为 ativ: 以 zmv 记 第 / 组 第 个 染色 体 对 解码 后 的 什 
G 一 1,2，-GH). 每 个 染色 体 对 (不 护 设 第 ;个 染色 体 对 ) 经 杂交 后 必 位 于 第 ;一 1 组 或 第 j-1 
组 , 它 等 酸 率 地 被 杂交 成 MG) ,NG) 个 第 ;一 1 组 和 第 7 十 1 组 的 染色 体 对 . 它们 解码 后 的 值 
记 为 ; 
ip 《下 一 12 二 一 1 2CE) 
HI  ( 开 一 1 2 和 一 计 2 
其 中 ， 





MD 十 六 G) 一 工 
记 天 2D 空 FeiraoD 的 个 数 为 五 人 站， 于 是 疙 本 <Fzierab 的 个 数 为 MP 一 二 (CT 


仿 . 从 而 第 组 第 ; 个 洪 色 体 对 疝 第 ;一 1 组 转移 的 概率 为 1 一 与 光学 ,不 向 第 /一 1 组 转移 的 





入 率 为 全 多 .注意 到 第 ; 组 的 桨 色 体 对 共有 C# 个 ,于 是 有 第 / 组 向 第 ~- 1 组 转移 (考虑 适 
应 论语 ) 的 概率 为 


1 起 三 (全 
wu- 站 归 号 他 兰 乌 -vGias 《13. 3. 14) 


第 了 组 不 向 第 /一 1 组 转移 (考虑 适应 后 的 人 为， 


到 CD 
zi 让 过 3 人 一 记 -rG 一 oa 《13. 3. 15) 


局 样 , 设 不 mr 安放 east .的 个 数 为 六 全 本 ,于 是 扰 二 站)> 大 iaira0 的 个 数 为 NO) 一 震 C 


避 . 从 而 第 六 组 第 ;个 染色 体 对 向 第 1 组 转移 的 概率 为 生 光 2, 不 向 第 7 十 1 组 转移 的 概率 为 1 一 


入 最 儿 有 第 组 向 第 /十 1 组 转移 (考虑 适应 度 后 ) 的 概率 为 。 
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Pu 下 多 钱 一 avar 《13.3.36) 


第 了 组 不 向 第 /十 1 组 转移 (考虑 适应 度 后 ) 的 概率 为， 
名 

总 

Pr 人 (1 一 让 疡 G 

于 是 可 得 考虑 适应 度 后 的 转移 概率 和 矩阵 为 Pr 一 玉 ,其 中 ， 





) 一 no 一 gen (13. 3.17) 


于 


























站 G 一 1,2， 江 ) 
| 包 -G 一 g-oD) 十 名 1 一 or) 当 语 7 全 一 1 2，… 工 ) 
帮 1otena， 当 二 半 1 人 G 一 0901 … 江 一 1) 
0， . 当 = 取 其 他 值 《17 一 0,1，…,) 
《13- 3. 187》 
由 此 可 见 ,py 也 是 一 个 三 对 角 和 矩阵 , 且 显 然 有 
弛 之 0 《一 0 1，…* 工 ) 《33- 3- 19) 
站 =1 《13- 3. 20) 
此 ,随机 变数 上 的 状态 概率 密度 向 量 {8 } 一 (对 经 不 断 变换 
(如 人) 一 下 人 (13. 3. 21) 
后 转移 为 {8ED 上 { 络 )…,{ 操 )…, 它 也 是 -一 个 有 限 齐 次 马尔 可 夫 链 . 
由 于 已 设 定 第 工 十 1 组 是 最 优 解 , 故 有 
1， 当 ;一 工 
一 力 f 一 
押 一 经 加 当 :L 《13. 3. 22) 


这 样 ,演变 过 程 ( 不 考虑 适应 度 或 考虑 适应 度 ) 可 以 看 成 有 限 齐 次 马尔 可 夫 链 ， 

五 . 收 仇 性 分 析 

由 土 述 讨 论 可 兄 ,本文 提 出 的 等 价 遗 传 算法 可 以 描述 为 工 十 1 个 状态 的 齐 次 马尔 可 夫 链 ， 
其 最 优点 位 于 一 工 处 - 具体 写成 


人 《一 P{E2 《不 考 虑 适应 度 ) 《13. 3. 23) 
{( 尹 站 ) 一 末 织 》 ( 考 虚 适应 度 ) (13. 3. 24) 
P,P7 都 是 三 对 角 和 矩阵 ,具有 形式 
co an 0 
而 cl 四 


本 -1 cr er- 
0 了 cr 
其 中 次 对 角 元 aiG 一 0,1,… 江 一 十 (一 1,2… 汪 ) 与 对 角 元 a(G 一 0,1,…,L) 满 足 ， 
ai320,8 0，ce0 
aa 十 而 一 1 
d 十 car 十 本 ts 一 1 


ar-1 十 避 一 1 


《13. 3. 25) 
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了 与 py 之 不 同 是 ,在 了 中 ci 一 0(i 一 1;2,… 江 ). 对 于 已 经 设 定 第 工 十 1 组 是 极 大 的 情况 则 将 
有 : 


cr 一 1， err 一 0 《13. 3. 26) 
现在 设 ， 
>0 (一 0)1 斌 一 2 ar 一 0 
已 >>0 (Gi 一 1)2，… 工 ) 
ciZ0 (这 0,1,2,，… 沁 一 ID) 民 一 1 《13. 3.27》 


名 十 下 一 1 
ai 十 ci 十 pas 一 1 (一 0 记 一 2) 
于 是 可 以 证 骨 ,无 论 或 pr 均 有 工 十 1 个 实 的 单 特征 值 l wz, 且 |Ml<1G 一 0 和 江 
一 1) ,一 1,( 证 明 略 ). 
于 是 存在 非 奇 异 矩 阵 四 与 更 使 
卫 一 画 A (33. 3. 28》 
太一 更 4y 更 下 《13. 3. 29》 
其 中 4 与 4y 分 别 是 由 P 与 py 的 全 部 特征 值 构成 的 对 角 和 矩阵 . 
设 群体 给 定 了 初始 分 布 {&o'}, 则 有 
(一 下 (一 
一 
4 一 


4 《13. 3. 307 
及 
(5 )} 一 更 4Y 到 -人 区 2) 《13. 3. 317 
于 是 
Jim{) 一 四 im44 更 -人 人 ”一 
0 0 
更 0 到 (13. 3. 32) 
0 1 


定理 13.4 ”车 转 移 概率 密度 矩阵 满足 (13. 3. 27) 式 , 财 按 本 节 提 出 的 址 传 算法 可 收 敏 到 
最 优 解 , 即 ，; 
0 


lmt( 多 |。 《13. 3.33) 


】 
证 明 注意 到 当 az- 一 0 时 ,一 1 是 一 个 特征 值 ,其 相应 的 右 特征 向 量 可 取 为 (0,0,…,0， 
1 7 , 左 特征 向 量 可 取 为 (1,1,…，,1), 从 而 更 和 更 分别 具有 如 下 形式 ， 
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To 0 
盏 一 各 ,到 -一 2 上 
本 or 0 
本 1 1 1 1 


| 





于 是 由 (13. 3. 32) 式 可 得 地 一 0 《==0,1, 江 一 1), 夫 一 1. 证 毕 . 
下 面 讨论 平均 到 达 最 优点 的 次 数 . 记 随 机 变数 纸 的 状态 概率 密度 为 : 
《一 (名 , 故 , 绚 半 
记 更 的 蛤 阵 元 为 更 ,并 设 更 rr 一 1. 记 风 ! 的 矩阵 元 为 更 1 ,于 是 更 由 一 更 下 一 当 一 事 直 一 
1. 为 方便 计 , 仍 将 4yr 的 对 角 元 素 记 为 Ci 一 0.1,…, 工 ), 从 而 (13. 3. 31) 式 可 写成 ， 


甸 )} Yu 更 1 入 0 
员 | 更。 到， 姑 
过 到 本 0 驻 
吕 T 2 
TY 2 和 
王宫 
上 


了 


， z 
ws 袜 wto 
名 包 汪 (13. 3. 34) 


2 ， 
了 
把 





于 是 有 人 
瑰 一 1 十 名 uws 六 wo 《13, 3. 35) 
从 面 从 为 一次 到 达 最 优点 的 概率 为 
1 十 呈 aws 之 本 ep (13. 3. 36) 
从 为 大 次 到 达 最 优点 的 概率 为 交 
吕 w 一 zr mw 立 呈 re (下 > 1) (13. 3. 37) 
于 是 平均 到 达 最 优点 的 次 雪 为 和 
工 一 上 十 号 aw。 志 ES + 和 (好 一 2 忆 二 二 


玫 ] 工 
下 2 (对 一 对 1 了 3 十 … 一 


加 Eee 
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oo 1 


1 一 号 2 2 一 
本 | 


= 7=0 


号 5 本 re 
1 一 名 这 5 癌 最 代 《13. 3. 38) 
特别 地 , 若 取 叭 一 1 ,名 一 0C 一 1,2,…, 上 ), 则 平均 到 达 最 优点 的 次 数 为 : 
T-1 一 号 wum 《13.3. 397 


和 

当 平均 到 达 次 数 T<2+ 时 遗传 算法 才 比 穷 举 法 更 为 有 效 . 

广 、 结 论 与 讨论 

《1) 本 文 提出 的 等 价 址 传 算法 的 运行 是 按 组 进行 的 ,不 同 于 常规 遗传 算法 . 用 该 算法 可 以 
收敛 到 最 优 解 (考虑 到 适应 度 ), 且 平均 志 达 次 数 是 有 限 的 . 

《2》 落 次 对 角 线 上 某 个 pb 一 0, 则 第 i 一 1 组 无 法 转移 到 第 i 组 , 因此 若 群 体 的 初始 状态 分 
布 只 有 前 一 1 组 的 值 不 为 等 , 则 绝 无 可 能 收 伍 到 最 优 解 . 

这 种 算法 中 没有 考虑 变异 , 但 有 了 变异 却 可 以 使 群体 中 的 概率 分 布 随机 地 改变 ,使 群体 的 
分 布 达 到 按 序号 排列 较 大 的 组 中 ,从 而 使 收 伍 的 可 能 性 加 大 . 

若 b 关 0 则 遗传 算法 的 收 敏 性 与 初始 分 布 是 无 关 的 ,但 收敛 速度 与 初始 分 布 是 有 关系 的 . 
总 体 说 来 , 当 存在 接近 于 !1 的 特征 全 时 收 敏 就 比较 慢 . 

上 述 算法 的 数学 模 榴 是 标准 的 有 限 齐 次 马尔 可 夫 过 程 , 对 其 收 敏 性 及 收敛 速 度 进 行 了 主 
论 , 然 而 与 实际 操作 时 的 标准 过 程 还 有 较 大 差距 . 


$13.4 选择 和 变异 操作 下 遗传 算法 的 收敛 性 


下 面 来 分 析 选 择 和 变异 操作 下 起 传 算法 的 收敛 性 问题 . 首先 以 较 简洁 的 方式 给 出 连续 空 
间 中 群体 模 率 密度 演变 公式 的 证 明 ,并 提出 离散 空间 中 群体 的 演变 过 程 收敛 到 全 局 最 优 状 态 
的 一 个 充分 条 件 , 从 而 得 到 对 遗传 算法 的 实现 具有 一 定 指导 意义 的 结果 . 这 在 一 定 程度 上 为 实 
现 自 适 应 调节 变异 操作 ,以 保证 站 传 算法 收敛 到 全 局 最 优 解 提供 了 理论 依据 . 

一 、 连 续 空 间 审 群体 概率 密度 演变 公式 

考虑 优化 问题 








arg mnaEK2D) 513.4.1) 

其 中 xE 了 为 实 参数 向 量 . F 为 可 行 域 ,g(z) 为 适应 度 函 数 ,假定 其 满足 如 下 条 件 ， 

〈I)8Cxz) 只 有 有 限 个 全 局 最 大 值 ; 

(2)0<gmn<ECz)<SEmoe<ceo YYGETi 

《3)8(Cz) 有 有 限 个 不 连续 点 . 

以 下 仅 讨论 在 选择 和 变异 操作 下 的 遗传 贷 法 . 没 在 时 刻 上 ,群体 具有 N 个 随机 向 量 , 记 为 
下 一 (2 对 其 概率 密度 记 为 六 ( 卫 , 妇 :…， 玖 ) 群体 中 任意 一 个 向 量 民 的 概率 密 
度 记 为 CD 一 12， PN) ,设备 或 是 同 分 布 的 . 己 经 选择 后 记 为 xz, 其 概率 密度 记 为 六 ; 
(CD0G57 一 1,2, PN xi 经 变异 后 记 为 xl, 其 概率 密度 记 为 帮 ，，(z)Ki 一 1,2，…,N). 为 便 
于 讨论 ,以 下 将 群体 六 的 取 值 以 34, 末 ，937 记 之 ,z 的 到 值 以 < 记 之 ,x: 的 取 值 以 > 记 
之 . 设 选择 运算 按 下 述 公 式 进行 ,有 
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PP 一 区 |) 一 -DC 1 《13. 4.2》 
SCx 
设 变 异 运 算 以 相同 的 条 件 概率 密度 函数 
了 FPC 2 一 Crlz) 《二 12 《13.4. 3) 
独立 地 作用 于 群体 中 每 个 元 素 , 且 条 件 概率 密度 函数 满足 : 
Spa 实 M 把 c 《13, 4. 4) 


对 于 没有 杂交 操作 的 遗传 算法 ,其 连续 空间 中 群体 的 概率 密度 公式 有 如 下 定理 ， 
定理 13.5 车 算法 按照 (13.4. 2) 式 和 (13.4- 3) 式 运行 , 则 当 Neco 时 ,无 杂交 铝 作 的 
遗传 算法 的 随 术 向量 序列 {zs} 世 sCxeE 本 的 概率 密度 在 以 概率 1 收 贫 的 意义 下 ,具有 如 下 
形式 
[| 廊 pgoDmelnpd 
太一 -一 一 《13.4. 5) 
[六 opecpd 
? 
下 面 我 们 给 出 关于 定理 13. 5 的 简洁 证 明 ， 
证 明 ” 拉 为 选择 运算 是 按 《13. 4. 2) 式 进行 的 ,所 以 选择 后 群体 的 第 ; 个 元 素 的 概率 密度 
在 时 刻 关 为 


Zi3(z 一 w)g(C) 
邱 ， 
7gC) 


Vi 了 12 《13. 4.6) 
其 中 8 为 Dirac 函数 . 又 因为 对 于 群体 的 每 个 元 素 ,变异 操作 独立 地 按 (13. 4. 3) 式 进行 , 故 有 


0 Deal 一 
四 





二 


了 8(z 一 好 )gC2) 
| 关 clp 气 一 一 
? 了 EC) 
， E; 
了 EC 天 Cr 2) 


后 
VEg(C3 
名 








2 《13. 4.7) 


利用 全 概率 定理 ,有 


AD 一 人 rc oo0dytdyw 一 
剖 


[ 


T 忌 
寺 (0) 
方 冯 4 字 


， 
胡 症 gz 
2 





dydom 全 
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FF YE 一 12 〔《13. 4. 8) 


对 于 固定 的 *, 刀 (xly) 是 确定 的 函数 . 设 风 ，…, 六 ,可 以 独立 选取 ,于 是 {8(y)} 叱 :是 
互 独立 相同 分 布 的 随机 变量 序列 , 故 对 于 固定 的 和 攻 攻 是 天 二 世人 
布 的 随机 变 莉 序 列 . 由 柯 尔 莫 哥 洛 夫 强 大 数 定律 ,有 : 


办 
方 scy) 二 凡 CDgCDdo 人 可 《13.4. 9) 


直立 sc) 关 Cx1 2 人 paoo 六 Ce1Ddy 全 下 ( 阅 (013.4.10 


1 















































以 于 往 还 
As Cr ND 二 蕊 5 G3.4.11) 
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0 (13.4. 13) 


于 是 有 (13. 4. 11) 式 成 立 , 即 当 N-~co 时 (13. 4. 5) 式 成 立 . 证 毕 . 

定理 13. 5 给 出 了 在 连续 空间 中 共有 无 穷 大 种 群 规模 的 遗传 算法 (无 杂交 操作 ?的 群体 的 
概率 密度 演变 公式 .下面 将 (13. 4. 5) 式 推广 应 用 于 离散 空间 中 无 杂交 操作 的 遗传 算法 ,并 给 出 
群体 演变 过 程 收 和 伍 到 全 局 最 优 状 态 的 一 个 充分 条 件 . 
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二 、 离 散 空 间 中 无 杂交 操作 的 遗传 算法 的 收效 性 分 析 

对 于 离散 情形 , 仍 设 种 群 规模 为 无 穷 大 . 将 群体 中 的 一 种 相同 的 个 体 认为 是 一 种 状态 ,以 记 
个 体 的 长 度 , 以 这 1,2。…,M 记 个 体 的 各 种 状态 . 于 是 ,在 以 概率 1 收敛 的 意义 下 ,连续 空间 中 在 
选择 与 变异 作用 下 种 群 演变 的 概率 密度 表达 式 可 以 在 离散 空间 写 为 : 





立 me7os 
1 一 1 1 (13.4. 14) 
Fegr 
其 中 。 
zz 风 一 GT- 罗 24 2 (13.4.15)》 
的" 为 随 演变 过 程 变化 的 变异 概率 ,d 为 状态 jj 之 间 的 海 明 焉 离 . (13. 4. 14) 式 用 算 阵 写 出 为 ， 
1 下 站 司 
(da 上 [而 生 rertA 《13.4.167 
当 变 异 概率 较 小 时 ,由 变异 引起 的 转移 概率 矩阵 [m 锡 ] 可 以 写成， 
1 一 e 人 各 
和 哺 
[mo]=| 汪 (13.4. 17) 


其 中 e 铝 >>0G7 一 1,2，- ,0D 为 小 参数 , 耳 满足 袜 史 一 ce 多 (Ci 一 1,2,…,WD. 可 以 证 明 , 当 变 


蜡 概率 随 演 变 过 程 变 得 充分 小 时 ， 无 末 交 操作 的 遗传 算法 的 演变 过 程 收敛 到 全 局 最 优 状态 . 下 
述 定理 给 出 了 收敛 的 一 个 充分 条 件 . 

定理 13.6 设 离散 空间 中 无 穷 大 规模 种 群 的 状态 的 概率 密度 服从 (13. 4. 14) 式 , 设 变异 
概率 随 演变 过 程 变 得 充分 小 ,使 由 变异 引起 的 转移 概 率 矩阵 [ma 多 ] (一 0,1,2,…) 可 以 写成 
《13. 4. 17) 式 的 形式 . 设 六 对 应 于 使 适应 度 达 全 局 最 优 的 状态 , 即 
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从 而 
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1 到 1 一 二 鹤 卫 二 息 科 1<<1+e 〈13. 4. 32) 
即 
| A 一 11<e 《13.4, 33) 
故 
jimFtb 一 卫 (13. 4. 34) 
3 
证 毕 . 


遗传 算法 的 选择 操作 有 将 群体 集中 于 具有 较 高 适应 度 区 域 的 能 力 . 而 变异 操作 与 之 相反 ， 
它 有 增 大 群体 多 样 性 ,使 群体 具有 探索 可 能 包含 较 好 的 解 的 新 区 域 的 能 力 , 它 对 于 加 快 搜索 速 
度 ,确保 种 群 不 至 于 陷 人 局 部 极 小 具有 重要 的 意义 ,但 它 无 疑 要 混 响 群体 演变 过 程 的 收 伍 - 人 
们 在 遗传 算法 的 各 种 实战 中 ,已 经 对 变异 操作 提出 了 许多 改进 技术 ,如 有 指导 的 变异 和 各 种 自 
适应 变异 方法 等 ,以 兼顾 变异 操作 的 得 失 ,但 缺乏 相应 的 理论 分 析 . 本 节 的 理论 分 析 结 果 表 明 ， 
当 变 异 横 率 随 群 体 状态 演变 过 程 的 变化 变 得 充分 小 时 ,可 以 保证 无 杂交 操作 的 遗传 算法 的 演 
变 过 程 收 伍 到 全 局 最 优 状态 - 这 一 结论 在 一 定 程 度 上 为 自 适应 调节 变异 操作 ,以 保证 遗传 算法 
收 敏 到 全 局 最 优 解 提供 了 理论 依据 . 
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第 十 四 章 用 遗传 算法 解决 组 合 优化 问题 


遗传 算法 重要 的 研究 与 应 用 领域 之 一 是 组 合 优化 (combinational optimization) 问题 . 所 谓 
组 合 优化 是 指 在 离散 的 有 限 的 数学 结构 上 ,寻找 满足 给 定 约束 条 件 的 最 优 解 . 组 合 优化 问题 
通常 具有 较 多 的 局 部 极 值 点 ,往往 是 不 可 微 的 .不 连续 的 .多 维 的 ,有 约束 条 件 的 .高 度 非 线 性 
的 NP 完全 问题 ,因此 ,精确 的 求解 组 合 优化 问题 的 全 局 最 优 表 一般 是 不 可 能 的 . 遗传 算法 作 
为 一 种 模拟 进化 过 程 的 随机 搜索 优化 方法 ,在 组 合 优化 领域 得 到 了 广泛 的 研究 与 应 用 ,并 在 解 
决 许多 典型 组 合 优化 问题 中 显示 了 良好 的 性 能 ,取得 了 和 良好 的 效果 . 本 章 着 重 介绍 遗传 算法 用 
于 函数 优化 的 若干 问题 以 及 遗传 算法 关于 解决 邮递 员 路 径 问 题 CTSP) 的 应 用 . 








8$14.1 函数 优化 
遗传 算法 应 用 于 纯 数学 函数 优化 问题 ,可 以 简化 进 传 算法 的 工作 环境 和 优化 标准 ,有 利于 
分 析 和 研究 址 传 算法 的 基本 性 能 特征 . 


De Jong 在 将 遗传 算法 应 用 于 纯 数 学 函数 的 优化 问题 方面 ， 作 了 许多 很 有 意义 的 工作 . 籽 
将 Holland 的 模式 定理 和 自己 的 计算 实践 结合 起 来 ,对 基本 遗传 算法 和 一 些 改 进 的 遗传 算法 
的 搜索 性 能 进行 了 较为 深入 的 试验 分 析 , 得 出 了 一 些 很 有 价值 的 结论 ; 对 进 传 竹 法 的 发 展 产生 
了 意 要 的 影响 . 本 节 简 要 介 细 一 下 De Jong 在 函数 优化 方面 的 研究 工作 . 、 
De Jong 箱 选 了 五 个 纯 数 学 函数 ,这 些 函 数 的 形式 及 定义 域 如 囊 14. 1 所 头 ; 续 转 化 得 到 
二 维 画 数 特性 分 别 如 图 14. 1 一 14. 5 所 示 . 
衷 14.1 De Jong 所 选 的 五 个 测试 机 数 











序号 | 西数 定义 域 
一 S 
1 (rz 一 2 好 zs5.12 
各 
2 大 (zh 门 一 100( 旭 一 二 ?02 十 (1 一 工 17)2 zi 裤 2 048 
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3 态 (ri) 一 >) integer(zD) | zi| 委 5.12 
伍 
oa ， 
人 所 CrzD= > i 对 十 GaassC0,1)7 lm:1<1. 28 
加 | 
号 
5 万 (zt 一 0.002 十 2 一 一 else65.536 


说 入 为 Ci 一 op 六 


表 14. 1 中 的 5 个 函数 在 数学 特征 方面 的 差异 主要 表 理 在 以 下 儿 个 方面 : 

@@ 过 续 性 ;四 凹凸 性 ;图 单 峰 与 多 峰 函数 4 个 二 次 函数 与 非 二 次 肖 数 ;@ 低 维 与 高 维 画 数 ; 
@@ 确 定 函 数 与 随机 函数 ， 

例如 ,函数 广 (z) 是 一 个 三 维 的 \ 连 续 的 、 单 极 值 二 次 函数 ,函数 户 (zi) 是 一 个 四 函 数 ， 
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、 
的 几何 特性 图 1I4.4 函数 天 的 几何 特性 
图 14.3 画 数 产 的 几 












图 14.5 函数 产 的 几何 特性 
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函数 六 (zi;) 具 有 不 连续 性 ,本 数 产 (z,) 具 有 随机 特性 , 本 数 广 Cx) 具 有 多 峰 特 人 性 等 . 
为 了 度量 不 同 的 遗传 算法 的 性 能 ,De Jong 提出 了 两 个 用 于 定量 分 析 遗 传 算法 的 测度 ,其 
定义 分 别 如 下 : 
定 尺 14.1 设 ”Cs) 为 环境 < 下 策略 * 的 在 线性 能 , 产 (9 为 时 刻 或 第 上 代 中 相应 于 环境 
e 的 平均 适应 度 郊 数 , 则 zy 可 以 表示 成 


、 
GD) 一 示 矿 G G41.1) 


上 式 表明 ,在 线性 能 可 以 用 从 第 一 代 到 当前 各 代 的 优化 进程 的 平均 值 来 表示 , 它 主要 用 来 
测量 算法 的 动态 性 能 . 
定义 到 .2 设 羡 (s) 为 环境 e。 下 策略 * 的 离线 性 能 , 则 有 


已 一 于 呈 六 GD (14.1. 2 
台 


其 中 产 (七 一 bestft 放 () ， 产 (2 天 CD 

上 式 表明 ,离线 作 能 是 特定 时 刻 最 佳 性 能 的 累积 平均 , 它 主 要 用 来 测量 算法 的 收敛 性 , 依 
据 这 两 种 性 能 评价 标准 ,针对 表 14. 1 中 的 五 个 基本 范 数 所 构成 的 测试 环境 . De Jong 探讨 和 
研究 了 基本 GA 及 其 基体 形式 的 搜索 优化 性 能 . 

为 便于 级 述 ,将 基本 遗传 算法 记 做 策略 R,. De jong 乍 -Ri 策略 中 考 韦 予 下 述 相互 制约 的 4 
个 参数 : 

加 群体 规模 ”加 交叉 概率 P.; 力 变异 概率 P. ;图 代 沟 G, 其 中 G=1 表示 非 重合 群体 ,0<< 
G<1 表示 重 全 群 体 . ， 

De Jong 首先 考察 了 在 采用 策略 Ri 时 单个 参数 发 生变 化 的 情况 ,然后 考察 了 它们 的 有 恨 
组 合 的 情况 . 关于 函数 广 的 群体 规模 试验 表明 , 较 大 规模 的 群体 能 导致 较 好 的 贸 线 性 能 ( 收 全 
人 性 ) ,但 较 大 群体 的 禄 始 在 线 特性 较 差 ,而 较 小 群体 则 显示 了 较 好 的 初始 在 线 特性 . 增 大 变异 概 
率 可 以 保持 群体 的 多 样 人 性 ,但 其 代价 是 降低 离线 和 在 线性 能 . 关于 代沟 的 研究 ,De Jong 建议 
非 重 麦 的 模型 是 较 好 的 ,离线 性 能 较 优 . 

为 了 改进 基本 遗传 算法 的 性 能 ,De Jong 考察 了 策略 玉 的 五 种 如 下 变形 

Ra:: 最 佳 个 体 保 留 模型 

及 : :期 望 值 模 再 

及, :最 佳期 望 值 保留 模型 

Rs :排挤 因 于 模型 

Rs :广义 交叉 (多 点 交叉 ) 模 型 

De Jong 的 主要 实验 结果 与 分 析 如 下 :就 及 而 言 ,对 于 单 峰 函 数 ,最 佳 保留 策略 大 大 改进 了 在 线 
和 离线 性 能 , 相 在 多 峰 函 数 大 中 ,最 佳 保留 策略 降低 了 两 种 性 能 ,这 意味 着 最 佳 保留 策略 改进 了 局 
部 搜索 性 能 , 却 损 失 了 全 局 搜索 性 能 . 关于 及 的 实验 表明 ,在 离线 和 在 线性 能 上 ,R; 明显 优 于 脉 .在 
5 个 函数 的 环境 中 尺 的 整体 搜索 性 能 优 于 Re 和 尺 . 此 外 ,R: 减 少 了 随机 误差 ,能够 容许 交 又 概率 的 
适当 增加 . 在 策略 玉 中 ,对 于 单 峰 函 数 万 一 六 ,可 以 观察 到 相当 可 观 的 改进 . 而 对 于 多 峰 函 数 请 ,其 
性 能 仅 低 于 玉 - 策略 护 对 于 多 蜂 函数 的 优化 是 十 分 月 意 义 的 .策略 愉 的 观察 表明 ,多 点 交叉 随 着 交 
又 点 的 增加 ,降低 了 在 线 和 离线 住 能 . 
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$14.2 基于 遗传 法 的 osenbrocK 函数 优化 问题 


无 约束 的 了 数 优化 是 应 用 范围 很 广 的 一 类 优化 问题 , 随 着 实际 需要 的 日 益 增 加 ,对 这 类 问 
题 的 研究 日 见 深入 , 迄今 为 止 , 人 们 已 经 提出 许多 无 约束 最 优化 方法 ,如 使 用 导数 的 梯度 法 (最 
速 下 降 法 )、 牛 顿 法 . 共 印 梯度 法 和 变 尺 度 法 等 ,以 及 不 使 用 导数 的 各 种 拥 索 法 . 

在 函数 极 小 化 问题 中 ,目标 函数 等 高 面 内 经 常 出 现 (至 少 在 局 部 范围 内 )*“ 超 山谷 ”, 对 于 具有 两 
个 独立 变量 的 目标 函数 ,在 电 民 标 函数 等 值 线 绘 出 的 是 线 图 中 则 表现 为 “山谷 ”对 任何 一 个 志 功 的 
最 优化 方法 的 主 材 要 求 之 一 ,是 具有 能 够 在 局 部 区 域 中 沿 着 窜 的 山谷 迅速 移 向 目标 函数 极 小 值 的 
能 力 , 即 一 个 好 的 算法 应 给 出 一 个 沿 山谷 有 较 大 分 量 的 搜索 方向 . 由 Rosenbrock 设计 的 Rosenbrock 
天 数 是 考察 优化 方法 是 否 具有 这 一 能 力 的 一 个 典型 例子 . 理论 与 数值 研究 结果 表明 ,人 们 广泛 采用 
的 \ 尤 其 是 在 远离 极 小 点 时 颇具 优势 的 最 速 下 降 法 对 于 极 小 化 Rosenbrock 函数 是 不 成 功 的 .有 监 于 
此 ,下 面 利用 遗传 法 来 解决 这 一 问题 ,并 考察 了 一 些 改进 的 遗传 算法 对 子 该 问题 搜索 速度 的 影响 ， 
得 到 了 适 于 解决 此 类 问题 的 合理 的 和 遗 传 操作 ,从 夯 为 有 效 地 解决 最 速 下 降 法 所 不 能 实现 的 某 一 类 
函数 优化 问题 担 供 了 一 种 新 途径 . 

需要 指出 的 是 ,上 节 所 述 De Jong 所 选用 的 函数 户 (zi ,zs) 就 是 Rosenbrock 机 数 ,这 里 
对 其 所 进行 的 数值 实验 结果 表明 ,有 些 结论 是 与 De Jong 的 结论 不 一 致 的 ,这 可 能 是 由 于 所 采 
用 的 函数 定义 域 远 大 子 De Jong 所 采用 的 定义 域 之 缘故 . 

一 、 和 最 速 下 降 法 用 于 极 小 化 Rosenbrock 画 数 的 讨论 

首先 概述 利用 最 速 下 降 法 极 小 化 目标 函数 fxz) 的 问题 ,其 中 * 一 (zi…，,zo)7 为 上 维 矢 
量 ' 在 任 一 点 * 处 ,目标 函数 fF(z) 的 梯度 是 F(x) 最 大 局 部 增长 方向 上 前 一 个 矢量 ,于 是 Fz) 
的 梯度 的 反方 向 即 为 最 速 下 降 方向 . 因为 在 上 点 处 ,KKz) 的 插 梯 度 指向 Fz) 关 于 的 每 个 分 
重 关 小 最 快 的 方向 ,并 与 fCzy 在 x 处 的 等 值 线 正 交 . 

在 最 速 下 降 法 的 第 & 步 ,由 一 点 xi 到 另 一 点 x+ 的 移动 可 由 公式 




















ab 二 so Arco 一 
See at2TD 
给 册 , 其 中 
CD VCXC》 

8 TFT 《14.2.27 
为 六 z) 在 xm 处 的 单位 负 梯 度 , 导 最 速 下 降 方向 ,atw 为 待定 因 于 ,由 公式 

1 = 4.2.3》 
决定 . 


下 面 分 析 利 用 最 速 下 降 法 极 小 化 Rosenbrock 函数 的 过 程 中 所 遂 到 的 问题 , Rosenbrock 
函数 定义 为 














FFCz) 一 100(zs 一 好 旺 十 (1 一 辣 ) (4- 2.4) 
它 的 两 条 等 值 线 〈 扰 妇 一 4 利 大 六 一 8) 如 图 14. 6 所 示 , 从 几何 上 看 , Fo) 可 以 解释 为 一 个 缓慢 地 向 
下 弯曲 的 “山谷 ”, 以 x" 一 (1,3D7 为 其 最 低 点 ,在 该 点 有 头 x" 一 0. 


息 于 Rosenbrock 函数 的 跑 应 曲面 上 有 一 条 弯曲 两 又 狭长 的 山谷 ,而 在 山谷 中 的 点 的 最 束 
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和 3.00 





一 170 -0 了 0.30 1.30 关 


图 14.6 ”Rosenbrock 冰 教 的 等 信 线 图 

下 降 方 税 几乎 与 通 向 天 z 极 小 值 的 最 好 方向 垂直 ,所 以 在 山谷 中 的 曲线 周围 ,最 连 下 降 法 收 
伍 得 极 慢 , 苦 至 在 合理 的 时 间 内 完全 不 收 义 . 

最 速 下 降 法 是 无 约束 优化 问题 中 经 常 采 用 的 方法 之 一 ,尤其 在 远离 极 小 点 时 该 方法 是 颇 
具 优 势 的 ,但 在 处 理 目标 函数 响应 曲面 上 具有 狭长 山谷 的 茧 数 优化 问题 中 ,最 速 下 降 法 是 不 适 
用 的 . 为 此 ,下 面 采 用 遗传 算法 来 解决 最 速 下 降 法 所 不 能 实现 的 这 类 函数 优化 问题 . 

二 、 著 干 改进 的 遗传 算法 基本 操作 

由 于 GA 在 运行 过 程 中 需要 较 长 的 搜索 时 间 ,妨碍 着 它 付 诸 实际 应 用 ,加 此 改进 GA 的 基 
本 操作 一 直 是 人 们 关注 的 课题 ,这 方面 的 研究 已 经 取得 了 相当 多 的 成 果 , 并 且 针对 各 种 不 同类 
型 的 问题 ,达到 了 提高 GA 运行 效率 的 目的 .本 节 简 要 介绍 在 极 小 化 Rosenbrock 酷 数 时 采用 
的 某 些 改 进 的 基本 操作 - 

1. 线性 选择 

线性 选择 是 根据 群体 X(z2 中 各 染色 体 的 适应 度 , 按 照 一 定 的 概率 选 出 一 定数 量 的 染色 体 ,并 将 
它们 拷贝 到 配对 库 工 中 . 设 X 蚊 中 和 工 中 染色 体 数 目 各 为 =", 则 配对 库 将 由 发 (六 中 染色 体 * 的 = 
个 找 贝 构成 ,其 中 = 极 据 民 的 整数 部 分 以 及 小 数 部 分 的 适当 选取 得 出 . 
已 















































R -三 ， G4.2.5) 
忆 邓 
mi 的 选取 满足 
盖 = 《4.2.6) 
2. 非 线 性 选择 
在 产生 配对 库 时 引 人 某 些 非 线性 函数 ,如 采用 S 型 函数 ， 
0， 当 五 委 Feo 时 
2CF 一 Fa》 
让 一 当 Fa < Pi 委 (Fu 十 Fas)72 时 
SCFD 一 G42.7) 
1 一 .2Fee 一 古 7 当 (Fm 十 Eus)/2 雪 瑟 雪 开 时 
人 十 Fe)72 二 下 < 执 Fn 
1 当 已 委 Fevx 时 


其 中 Fe 和 Fu 分 别 为 预先 估计 的 染色 体 的 最 大 的 和 最 小 的 适应 度 值 , 配 对 库 中 染色 体 * 的 
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拷贝 数目 n%; 根据 
Ri -SC 。 4 2.8) 
SCOFD 囊 
各 
经 适当 的 伟人 计算 得 出 ,m 的 选取 满足 (14, 2. 6) 式 . 
3. 单 点 交叉 


单 点 交叉 是 随机 近 择 一 位 置 "1 委 >< 工 ) ,交换 两 个 父 本 染色 体 的 位 置 > 右边 的 部 分 , 产 
生 两 个 子 代 染 色 体 . 

4， 儿 点 交叉 

多 点 交叉 是 把 长 度 为 工 的 染色 体 划分 为 9 个 长 度 为 了 的 子 串 %《i 一 1,2,…,g 产 生 ga 个 在 [1 
一 菇 区 间 内 的 随机 数 寺 ,将 地 作 为 子 圳 站 的 交叉 点 ,对 每 个 子 串 实行 单 点 交叉 . 

5. 一 致 交 允 

对 子 被 选 作 父 本 的 染色 体 随机 产生 一 个 同样 长 度 的 二 进 制 串 , 对 应 于 该 惠 中 出 现 “1? 的 位 
置 , 两 个 父 本 交换 相应 的 基因 ， 

6. 有 指导 的 变异 

设 ? 为 第 上 代 诸 染色 体 中 最 适合 者 , Fy 为 相应 的 适应 度 值 , 设 同一 (zayzey zu)7 
为 2 的 解码 , 若 在 第 r(r 盖 纺 代 最 适合 的 染色 钵 为 ,相应 的 适应 度 值 为 下 (FF > 已- ) , 则 变 
异 操 作 产生 的 一 个 新 的 点 由 下 式 决定 

X” 一 2 十 al 一 Wtnsn) 史 (zy ) 《14. 2 9 

其 中 (0<a<1) 为 常数 因子 ,r 代表 在 第 上 代 后 最 适应 的 染色 体 达 到 F* 之 F 的 第 一 代 ,zu 
为 选 代 的 最 大 次 数 ,g(ze ,xzr ) 为 杂 速 炒 数 ,可 以 是 F(z) 的 梯度 , 若 F(Cz) 处 处 可 微 , 则 gdzr ， 
好 ) 可 取 为 : 








Emo 一 (ze)》 《14,.2. 10? 

三 、 檬 拟 实 验 结果 与 分 析 

针对 常规 考 传 操作 和 某 些 改进 的 和 遗传 操作 ,对 子 极 小 化 Rosenbrock 函数 问题 进行 了 较 多 
的 模拟 实验 和 分 析 对 比 , 除 了 成 功 地 利用 遗传 算法 尝试 以 外 ,还 考察 了 一 些 改进 的 遗传 算法 对 
于 该 问题 搜索 速度 的 影响 ,得 到 了 适 子 此 问题 求解 的 遗传 操作 方式 ,从 而 为 解决 最 速 下 降 法 所 
不 能 实现 的 某 一 类 函数 优化 问题 提供 了 一 种 新 的 ,有 效 的 途径 . 

首先 将 二 , 轻 编 码 为 10,1I} 上 的 位 串 , 由 9 一 2 个 子 串 构成 ,每 个 子 串 长 度 为 上 一 15, 子 吝 中 
有 一 个 符号 位 ,四 个 整数 位 ,其 余 位 表示 小 数 部 分 . 群体 内 染色 体 数目 为 mn 一 24 ,每 次 选取 2 个 
染色 体 作 父 本 ,变异 率 取 为 0. 1, 适 应 度 函 数 取 为 


FFCzr)》 一 





上 
TI 序 林 《14. 2. 11)》 


其 中 7Cz)y 由 (14. 2. 4) 式 定义 . 

1. 选择 操作 

在 父 本 选择 中 ,比较 了 随机 选择 、 线 性 选择 与 非 线性 选择 三 种 选择 操作 , 实验 结果 表明 ,对 
于 Rosenbrock 函数 极 小 化 问题 ,随机 选择 是 最 理想 前 . 尽管 线性 选择 与 非 线性 选择 的 出 发 点 是 好 
的 ,它们 都 可 以 使 得 那些 道 应 度 值 校 高 的 染色 体 在 群体 中 拥有 较 多 的 子 代 ,并 且 它 们 已 经 被 证 明 在 
处 理 某 些 优化 问题 时 是 卓有成效 的 ,但 在 极 小 化 Rosenbrock 函数 的 过 程 中 ,这 两 种 方法 并 不 能 有 效 





第 十 四 章 ”用 得 传 算法 解决 组 合 优 化 问题 "275 " 





地 加 快 搜索 速 焦 ,反而 会 导致 在 有 效 时 间 内 达 不 到 理想 的 缚 果 . 在 模拟 实验 中 观察 到 ,执行 几 百 代 
运算 后 ,种 群 中 的 染色 体 都 相差 无 几 ,适应 度 值 也 非常 接近 . 然而 整个 种 群 却 距 离 最 优点 还 相差 其 
远 , 此 后 在 较 长 时 间 内 整个 种 群 基本 上 不 再 发 生变 化 、 

通过 分 析 Rosenbrock 函数 的 特殊 性 ,可 以 得 到 线性 选择 与 非 线性 选择 失效 的 原因 . 由 于 
Rosenbrock 函数 在 由 谷 内 的 一 个 很 小 范围 内 (与 谷底 轴 向 相 垂直 的 方向 上 ?函数 值 变化 很 大 ， 
因此 初始 种 群 中 适应 度 值 大 的 染色 体 很 可 能 与 其 他 的 染色 体 的 适应 并 值 相差 若干 个 数量 级 ， 
这 样 ,经 过 线性 或 非 线性 选择 ,该 染色 体 被 选中 的 概率 特别 大 ,甚至 在 较 长 时 间 内 几乎 都 是 它 
自身 的 相互 交 义 . 这 样 ,就 使 得 相差 无 几 的 染色 体 迅 速 扩张 ,充满 整个 种 群 , 它 所 导致 的 后 果 
是 :@ 整 个 种 群 的 适应 凑 值 较为 接近 ,使 得 线性 与 非 线 性 选择 失去 作用 * 加 在 以 后 的 交叉 进程 
中 ,相同 基因 交叉 的 概率 增 大 ; 国 交 叉 后 所 产生 的 于 代 与 种 群 中 已 有 的 染色 体 相同 的 概率 增 
大 . 这 些 结果 将 导致 搜索 陷 人 局 部 极 小 或 未 成 熟 收敛 . 

监 于 线性 与 非 线性 选择 不 适 于 极 小 化 Rosenbrock 函数 问题 ,采用 随机 选择 操作 . 这 种 选 
择 操作 虽然 不 能 使 得 整个 种 群 的 平均 适应 订 迅 速 提高 ,但 它 可 以 保证 整个 配对 库 中 有 较 丰 富 
的 基因 供 交叉 使 用 ,从 面 避 免 陷 人 局 部 极 小 或 未 成 熟 收 敛 . 

2， 交 叉 操 作 

在 交叉 操作 中 ,比较 了 单 点 交叉 、 多 点 交叉 与 均匀 交叉 三 种 模式 . 实验 结果 表明 ,对 于 
Rosenbrock 函数 极 小 化 问题 , 单 点 交叉 并 不 能 在 得 时 间 内 达到 良好 的 效果 ,而 且 有 可 能 在 适 
应 度 值 很 低 的 情况 下 过 早 收 敏 而 达到 局 部 极 小 . 这 是 由 于 在 山谷 中 欲 达到 极 小 点 只 能 沙 斜 线 
运动 ,而 单 点 交叉 每 次 只 能 改变 z: 值 或 za 值 的 缘故 . 多 点 交叉 与 均匀 交叉 则 完全 避免 了 这 一 
限制 ,它们 都 是 同时 改变 z 值 和 z 值 .因此 这 两 种 交叉 操作 可 以 明显 地 提高 搜索 速度 并 避免 
陷 人 局 部 极 小 . 较 多 的 模拟 结果 表明 ,对 于 Rosenbrock 函数 极 小 化 问题 ,均匀 交 六 是 最 理想 
的 ,图 14.7 给 出 了 对 于 10 个 不 同 的 初始 种 群 , 根 据 分 别 采 用 单 点 交叉 、 多 点 交叉 与 均匀 交叉 
得 到 的 适应 度 的 平均 值 绘 出 的 适应 度 随和 迭代 次 数 变化 的 比较 曲线 . 表 14. 2 给 出 了 对 于 20 个 
不 同 的 初始 种 群 采用 多 点 交叉 与 均匀 交叉 操作 使 适应 放 值 分 别 达 到 0. 9 和 0. 99939 时 所 需 的 
迭代 次 数 . 
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图 14.7 单 点 \ 多 点 与 均匀 交叉 下 适应 度 随 迭代 次 数 变化 的 比较 曲线 
3- 变异 操作 
变异 是 遗传 算法 的 重要 操作 之 一 , 它 既 可 以 产生 种 群 中 原本 没有 的 较 优 基因 ,也 可 以 恢复 
在 先前 的 选 代 中 遗失 的 较 优 基 因 , 目前 已 经 提出 许多 改进 技术 ,如 有 指导 的 变异 和 各 种 自 适应 
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变异 等 ,它们 都 针对 不 同 的 问题 较 常 规 的 变异 操作 具有 明显 的 优越 性 . 
家 14.2 包 点 与 均匀 交叉 选 代 次 数 比 较 











首 应 度 达 到 0. 9 适度 度 达 到 0. 9999 
序号 多 点 交叉 均匀 交 灵 奢 点 交叉 均匀 交 因 

1 345 823 743 1979 
2 187 180 2314 1459 
3 3139 261 6394 2109 
二 258 98 703 527 
5 109 409 2563 4436 
6 1529 3a1 1991 2629 
7 9776 690 11895 2501 
8 150 368 1981 1349 
10 106 282 3966 1345 
堪 65 136 531 1423 
12 238 684 1165 4986 
13 110 159 1013 719 
1 93 393 2392 2811 
15 810 520 18901 2760 
16 3752 395 5742 5608 
]7 134 4 3014 T055 
8 923 369 2815 926 
19 810 173 15345 727 
20 314 147 1181 1482 











下 面 分 别 将 常规 的 变异 操作 和 有 指导 的 变异 操作 两 种 方式 用 于 Rosenbrock 表 数 极 小 化 
问题 ,并 比较 和 分 析 了 优化 结果 . 图 14. 8 给 出 了 一 0,0. 001,0. 002,0. 009 时 适应 度 随 迭代 次 
数 变化 的 比较 明 线 ,其 中 "一 0 代表 常规 的 变异 操作 . 表 14. 3 给 出 了 对 于 10 个 不 同 的 初始 种 
群 ,“ 取 不 同 值 并 分 别 选 代 到 950 次 时 所 达到 的 适应 度 平均 值 . 由 这 些 结果 可 以 看 出 ,对 于 
1 








3 
2 
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几 44.8 常规 变异 与 有 指导 变异 下 适应 度 随 迭 代 次 数 变化 的 比较 曲线 
Rosenbrock 函数 极 小 化 问题 ,有 指导 的 变异 操作 的 引 人 , 可 以 稍 许 改进 优化 结果 . 分 析 
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(14.2. 9) 式 和 (14. 2. 10) 式 可 知 , 有 指导 的 变异 相当 于 在 变异 操作 中 加 入 了 一 些 最 速 下 降 技 


术 , 而 如 前 面 所 述 ,最速 下 降 法 本 身 是 不 宜 于 解决 Rosenbrock 函数 极 小 化 问题 的 . 
家 14.3 ”常规 变异 与 有 指导 变异 在 相同 迭代 次 数 下 达到 的 适应 度 估 比 较 


器 了 0.001 0.002 0.006 0.009 0.012 
适应 度 0. 9171 0. 9486 .9637 0- 9629 0. 9713 0,.9599 











< 0. 04 0.08 0.1 0. 3 0.6 0.9 
适应 度 0. 9670 0. 9649 Q. 9691 0. 9655 0. 9665 0,9665 








8$14.3 邮递 员 路 径 问题 (TSP) 


TSP 问题 属于 NP 完全 问题 ,车 用 穷 举 搜索 算法 , 则 须 考虑 所 有 可 能 的 情况 , 找 出 所 有 的 
路 径 , 再 对 其 进行 比较 ,来 找到 最 佳 路 径 - 这 种 方法 随 着 城市 数 * 的 上 升 ,算法 时 间 随 a 按 指数 
规律 增长 , 即 存在 所 谓 的 指数 爆炸 (也 称 组 合 煤 炸 ) 问 题 . 

事实 上 ,在 ?个 城市 的 TSP 问题 中 ,一 条 有 效 的 路 径 可 以 看 成 = 个 城市 的 一 种 排列 .* 个 
城市 有 =1 种 排列 . 注意 到 两 个 顺序 完全 相反 的 方案 其 行程 相同 ,而 对 于 一 种 排列 从 哪个 城市 


出 发 都 可 以 ,所 以 有 效 路 径 的 方案 数目 为 惟 ， 于 例如 ,R 3 Rs 一 12，Ri 一 120, Rh 一 


181440 ,Rod4.4X 102 ,Reose6.93 双 1073，Raooszd4. 67X10255. 可 见 路 径 总 数 贿 ? 增 天 急剧 增 
长 , 当 城 市 数 自 增 加 ,计算 量 增加 到 无 法 进行 的 地 步 ， 

近年 来 ,基于 遗传 算法 求解 TSP 问题 的 研究 十 分 活跃 .在 遗传 算法 研究 中 ,TSP 问题 经 党 
被 用 来 评价 不 同 的 遗传 操作 及 改进 的 遗传 算法 的 性 能 , 之 所 以 如 此 ,主要 有 以 下 几 个 方 而 的 项 
因 ， 

















(1 TSP 问题 是 一 个 典型 的 ,易于 揽 述 却 难 以 处 理 的 NP 完全 问题 ,有 效 地 人 解 决 TSP 问 
题 有 重要 的 理论 价值 . 

《2) TSP 问题 是 许多 领域 内 出 现 的 多 种 复杂 问题 的 集中 概括 和 简化 形式 . 因此 ,快速 有 
效 地 解决 TSP 问题 有 很 高 的 实际 应 用 价值 . 

《3) 由 于 TSP 问题 的 典 多 性 , 它 已 成 为 各 种 启发 式 的 搜索 、 优 化 算法 的 间接 比较 标准 . 面 
遗传 算法 就 其 本 质 来 说 ,主要 是 处 理 复 杂 问 题 的 一 种 鲁 棒 性 强 的 启发 式 随机 搜索 算法 . 遗传 算 
法 在 TSP 问题 求解 方面 的 应 用 研究 ,对 于 构造 合适 的 遗传 算法 框架 .建立 有 效 的 遗传 操作 具 
有 重要 意义 ， 

一 、 编 码 与 适应 度 函数 

在 求解 TSP 问题 的 各 种 遗传 算法 中 , 允 采 用 以 遍历 城市 的 次 序 排列 进行 编码 的 方法 . 如 
码 串 123456789 表示 自 城市 C, 开 始 ,依次 经 城市 C: ,C; ,…, Cs 最 后 返回 城市 C; 的 遍 押 路 径 . 
这 是 一 种 针对 TSP 问题 的 最 自然 的 编码 方式 ,不 过 这 一 编码 方案 引起 了 交叉 操作 的 困难 ,所 
凡 应 在 交叉 操作 时 设计 特殊 的 适合 于 处 理 TSP 问题 的 交叉 策略 - 

TSP 问题 是 寻找 ”个 城市 的 排列 ,使 有 效 路 径 长 度 


了 = 叶 十 da 《14.3.1) 
取 最 小 值 , 式 中 必 表 示 城 市 C; 到 城市 Ci 的 蝶 离 . 
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在 利用 遗传 算法 求解 TSP 问题 中 ,适应 度 函 数 常 取 路 径 长 度 的 倒数 , 即 /= 去 . 车 考虑 
TSP 问题 的 约束 条 件 ( 每 个 城市 经 过 且 只 经 过 一 次 ), 则 适应 度 函 数 可 表示 为 ， 


1 
/= 元 下 《14, 3. 2 


其 中 有 N. 为 对 于 TSP 路 径 不 合法 的 度量 (如 取 六 , 为 未 刀 历 的 城市 的 个 数 ) ,c 为 惩罚 系数 . 

二 、 变 叉 策 格 

对 于 TSP 问题 ,基于 上 述 顺 序 编码 , 若 用 单 点 交叉 或 多 点 交叉 策略 ,必然 以 极 大 的 概率 导 
致 未 能 完全 刀 历 所 有 城市 的 非法 路 径 ,如 TSP 问题 的 两 个 父 本 栈 径 为 

1234 | 56789 
9876 | 54321 
若 用 单 点 交叉 , 且 交叉 点 随机 选 为 4, 则 交叉 后 产生 的 两 个 后 代为 
123454321 
987?7656789 

显然 ,这 两 个 子路 径 均 没 能 泪 历 所 有 9 个 城市 ,都 违反 TSP 问题 的 约 东 条 件 . 针对 这 一 问题 ， 
最 然 可 以 采用 构造 惩罚 函数 的 方法 ,但 实验 效果 不 佳 . 理论 上 的 解释 是 ,用 惩罚 函数 法 将 本 已 
十 分 复杂 的 TSP 问题 更 加 复杂 化 了 . 因为 满足 TSP 问题 约束 条 件 的 可 行 解 空 间 规模 为 (* 一 
1 而 构造 惩罚 函数 的 方法 ,其 搜索 空间 规模 变 为 (* 一 1)”!1, 随 着 的 增 大 ,两 者 之 间 的 差距 
是 极其 惊人 的 . 

解决 TSP 约束 问题 的 一 种 肥效 的 处 理 方法 是 对 交叉 . 变 蜡 等 遗传 操作 做 适当 的 修正 ,使 
其 自动 满足 TSP 的 约束 条 件 , 现 介绍 常用 的 几 种 交叉 方法 ， 

1， 部 分 匹 本 交叉 (Partially Matched Crossover,PMX) 法 

在 PMKX 操作 中 , 先 依据 均匀 随机 分 布 产 生 两 个 位 串 交 叉 点 ,定义 这 两 点 之 间 的 区 域 为 一 
匹配 区 域 , 并 使 用 位 置 交换 操作 交换 两 个 父 串 的 匹配 区 域 . 然后 再 对 两 子 串 匹配 区 域 以 外 出 现 
的 让 历 重 复 , 依 据 匹 配 区 域内 的 位 置 吴 射 关 系 , 逐 一 进行 交换 . 

例如 , 设 两 父 串 及 匹配 区 域 为 





4 一 91 |456 | 7832 

旦 一 68 | 123 | 9547 
首先 交换 4 和 召 的 两 个 匹配 区 域 ,得 到 

4 一 91|123 17832 

瑟 一 68 | 456 | 9547 
然后 ,对 于 4 、B 两 子 中 匹配 区 域 以 外 出 现 的 让 历 重复 进行 交换 . 对 于 A' 有 1-=4,2-5,3-~ 
6, 于 是 得 





4 一 941237865 
同 理 可 得 
瑟 一 384569217 
2. 顺序 交叉 (Order Crossover, 简称 OX) 法 
0OX 与 PMX 法 类 似 , 也 是 首先 选择 一 个 匹 枢 区 坡 ， 
4A=911456 |7832 
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刀 一 68 | 123 | 9547 
然后 ,根据 匹配 区 域 的 映射 关系 ,在 其 区 域外 的 相应 位 置 标记 再 ,得 
4 一 9 开 |456 | 78 瑟 好 
B 一 昌 8 | 123 | 9HE7 
再 移动 匹配 区 至 起 点 位 置 , 且 在 其 后 预 留 相等 于 匹配 区 域 的 空间 5 珀 的 数 自 ) ,然后 将 其 余 的 


玛 按 相 对 次 序 排列 在 于 留 区 后 面 , 得 到 
4 一 456 再 百 瑟 789 
刷 一 123 瑟 百丽 978 
最 后 将 父 串 4,B 的 匹配 区 域 相互 交换 ,并 放置 到 4, 史 的 预 留 区 的 , 即 可 得 到 两 个 于 代 
4? 一 456123789 
Be" 一 123456789 
与 PMX 法 比较 ,OX 法 在 两 父 串 相同 的 情况 下 ,也 能 产生 存 一 定 改变 的 子 串 , 这 对 子 维持 群体 内 个 
体 的 多 样 性 具有 一 定 的 作用 . 还 可 以 设计 其 他 交叉 方法 ,如 一 种 改进 的 OX 法 如 下 ， 
设 两 父 串 及 匹配 区 域 为 











A 一 911456 1|7832 
刀 一 68 | 123 | 9547 
首先 将 入 的 焉 瑟 区 加 到 避 的 前 面 , 妃 的 匹配 区 加 到 4 的 前 面 ， 
4 一 123914567832 
如 一 456681239647 
然后 ,在 4 和 避 ' 中 分 别 在 匹配 区 后 依次 删除 与 匹配 区 相同 的 城市 码 ,得 最 终于 申 为 
4 加 一 123945678 
及 一 456812397 
三 、 变 异 操作 
针对 TSP 问题 主要 的 变异 技术 如 下 : 
.1 逆转 变异 
在 码 串 中 随机 选择 两 个 道 转 点 ,然后 将 这 两 点 内 的 子 串 道 向 排序 . 例如 , 设 串 4 的 闭 转 点 
为 3,6, 则 经 逆转 变异 后 变 为 4 ,有 
A=1231456 | 789 
4" 一 12316541789 








2 对 换 变 异 
适 机 选择 码 串 中 两 点 作为 对 换 点 ,对 换 其 值 . 如 对 于 串 从 ,选择 对 换 点 为 3,8, 得 
4 = 1234567 89 





则 经 对 换 后 变 为 4 ， 
A' 一 1284567 39 
3， 播 和 人 变异 
从 码 捉 中 随机 选择 一 个 码 ,将 此 玛 插入 随机 选择 的 播 人 点 中 间 , 例如 对 于 上 述 申 A, 若 取 
捅 入 码 为 6, 选取 糙 人 点 为 3 一 4 之 间 , 则 有 
4 一 123645789 
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四 ,求解 TSP 问题 的 实验 结果 

在 实验 中 ,群体 规模 定 为 100, 交 叉 操 作 采 用 上 述 改进 的 OX 法 ,在 386 微机 上 的 有 关 实 
验 结果 如 下 : 

(1)》 当 As15 时 ,随机 样本 实验 表明 ,利用 遗传 算法 可 100% 搜 索 到 用 穷 举 法 求解 的 最 优 解 . 

(2 当 15 委 xs 和 30 时 ,计算 结果 表明 GA 能 收 敏 到 一 稳定 的 “最 好 解 ", 实 验 误差 为 0, 模拟 
退火 (SA) 也 可 求 得 相同 的 “最 好 解 ”, 但 运行 时 间 约 为 GA 的 6 倍 《 此 时 难以 确 斌 最 优 性 ). 

《3) 对 ”一 50"m 一 60,r 一 80 及 ”一 100 的 测试 结果 表明 ,GA 在 求解 质量 上 略 优 于 SA, 优 
化 效率 高 于 SA, 表 14.4 给 出 了 GA 与 SA 的 实验 结果 比较 , 表 中 所 列 TSP 路 径 长 度 为 相对 
长 度 ,其 值 由 下 式 给 出 : 





世 = 

0.765 刁 we 

其 中 ,Ts 为 实际 路 径 的 长 度 , 为 包含 TSP 所 有 城市 的 最 小 正方 形 的 边 长 ,z 为 TSP 问题 的 

城市 数目 . 图 14. 8 为 城市 规模 * 一 100 的 TSP 问题 的 初始 最 佳 路 径 , 图 14. 10 为 经 GA 优化 
得 到 的 最 佳 路 径 ， 


《14. 3. 3) 


表 14.4 SA 法 和 GA 求 解 TSP 问题 的 实验 结果 
城市 攻 最 佳 解 最 伍 解 上 时间/ 性 时 间 / 

也 SA 法 CA 法 SA CA 
50 106. 33 105- 88 540 1 98 
60 105- 11 104- 2 人 480 120 
80 ， 103. 22 101- 34 600 150 
100 99. 11 98. 05 1080 360 
200 98. 67 97. 91 3400 66f 

















图 14.9 100 城市 TSP 问题 的 初始 最 图 14. 19 100 城 市 TSP 问题 经 GA 优化 . 
佳 路 人 径 ({G 一 0 代 )} 后 的 最 佳 路 径 (G 一 200 找 ) 
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第 十 五 章 ， 其 他 进化 算法 


进化 计算 通常 分 为 遗传 算法 (Genetic Algorithm,GA) .进化 策略 (Evolution Strategies, ES) .进化 
规划 (Evoiutionary Programmming,EP) 与 遗传 规划 (Genetic Programming,GP) 四 种 典型 策略 . 


15.1 遗传 规划 概述 


15.1, 1 遗传 算法 的 局 限 性 


从 前 面 的 讨论 可 以 看 到 ,遗传 算法 通过 对 字符 串 进 行 操作 ,可 以 解决 一 系列 复杂 的 问题 , 
然 面 正 是 由 于 遗传 算法 直接 对 字符 串 进行 操作 ,因此 在 址 传 算法 中 对 问题 的 描述 将 显得 至 关 
重要 . 在 遗传 算法 的 理论 与 应 用 研究 中 ,人 位 在 感受 编码 方法 的 重要 性 与 优越 性 的 同时 ,也 体 
会 到 了 它 对 于 遗传 算法 应 用 范围 的 限制 

址 传 法 的 主要 局 限 性 如 下 ， 

1 .不 能 描述 层次 化 问题 

有 许多 问题 ,其 解答 的 自然 描述 往往 可 以 用 一 种 层次 化 的 计算 机 程序 表达 ,而 不 是 一 种 定 
长 的 字符 串 形 式 的 表达 . 例如 ,常用 的 函数 表达 式 FCz) 一 4 十 Aiz 十 4az 十 Ar, 事实 上 可 
以 看 成 一 个 具有 层次 化 结构 的 计算 机 程序 ,图 15. 1 直观 地 描述 了 该 层次 化 结构 、 








国 15.1 冰 数 表达 式 /fx)} 的 层次 化 结构 
一 般 情 况 下 ,这 种 层次 化 的 计算 机 姓 序 的 结构 和 大 小 在 问题 获得 解决 之 前 往往 无 法 了 解 . 例 
如 ,对 图 15. 2 所 示 的 数据 进行 明 线 拟 合 时 ,究竟 选 下 列 哪 一 个 函数 进行 氢 合 ,事先 是 无 法 了 解 的 : 
KGz) 一 Ah 二 AZ 十 如 于 十 A 
RD) = 4olog(Az 十 4 十 A2) 
FFCz) 一 和 十 exp(4iz) 十 log(4sz2) 十 sin(4:z) 
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图 15.2 某 事 件 的 实测 数据 

因此 ,这 种 程序 在 随机 确定 其 初 态 后 ,应 具有 根据 所 在 环境 的 状况 修改 其 结构 和 大 小 的 能 力 . 
显然 ,用 定 长 字符 串 方法 来 描述 上 述 这 种 变化 的 计算 机 程序 是 困难 的 . 

2. 不 能 撒 述 计算 机 程序 

即使 计算 机 程序 已 经 确定 ,利用 定 长 字符 串 方 法 也 不 能 方便 地 乓 述 这 种 计算 机 程序 ,如 样 
本 数据 回归 方程 求解 以 及 包含 有 递归 、 和 迭代 等 过 程 的 算法 等 - 

3. 缺 少 动态 可 变性 

定 长 的 字符 串 找 述 方法 不 具备 动态 可 变性 ,字符 串 的 长 度 一 旦 确定 ,就 很 难 改变 系统 的 内 
部 状态 及 系统 的 行为 . 

遗传 算法 中 定 长 字符 趾 的 采用 ,相当 于 对 问题 解答 的 结构 和 大 小 的 一 种 预 确定 , 它 极 大 地 
限制 了 遗传 算法 在 许多 方面 ,如 人 工 智能 .机 器 学 习 和 符号 处 理 等 领域 的 应 用 . 


15.1 2 遗传 规划 的 提出 


监 于 遗传 算法 的 局 限 性 ,人 们 不 断 探讨 对 问题 进行 描述 的 断 方法 . 早 在 20 世纪 80 年 代 中 
期 ,人 们 已 开始 努力 改进 遗传 算法 的 表达 式 ,例如 允许 用 不 定 长 的 字符 串 或 添加 一 系列 计 …then 
条 件 语句 等 . 为 了 克服 遗传 算法 在 表达 方面 的 局 限 性 ,人 们 提出 了 遗传 规划 (Genetic Program- 
ming ,GP) ,用 计算 机 程序 来 代替 字符 串 表 达 所 研究 的 问题 . 1989 年 ,美国 斯 坦 福 大 学 的 Koza ] R 
提出 了 遗传 规划 的 新 概念 ,用 层次 化 的 计算 机 程序 代替 字符 串 的 表达 问题 . 1992 年 ,他 又 出 版 了 
专著 “Generic Prograxapring On te ProgramanaingE oF Comapacters 83 Reans of INataral Selectiomy 
多 遗传 规划 应 用 和 然 选 择 的 计算 机 程序 设计 芒 , 该 书 全 面 介绍 了 和 遗 传 规划 的 原理 及 应 用 实 
例 , 它 表 明 , 作 为 一 种 新 技术 ,遗传 规划 已 经 与 遗传 算法 并 驾 齐 驱 . 

Koza 丁 R 被 称 为 遗传 规划 的 蓝 基 人 ,1994 年 ,他 了 出 版 了 第 二 本 专著 “Generic Programaring 了 : 
aiomratic Discorery oj Reruwable Prograns2" 人 遗传 规划 开 :可 重用 程序 的 自动 发 现 阔 ,进一步 明 了 
遗传 规划 的 实质 . 同年 ,Kinnear 天 也 Jr 主编 了 “Adources zz Gemetic Prograrmmrzirng ”人 遗传 规划 进 
展 罗 ,汇集 了 许多 研究 工作 者 有 关 遗 传 规划 的 应 用 技术 和 经 验 , 这 标志 着 遗传 规划 已 渗透 到 生命 科 
学 ,工程 技术 及 社会 科学 的 各 个 领域 中 . 


345.1.3 ” 簿 传 规划 简介 


遗传 规划 是 以 计算 机 程序 的 形式 表达 问题 , 它 的 结构 和 大 小 都 是 可 以 变化 的 ,从 而 便于 表 
达 问 题 的 复杂 性 质 . 
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现 以 曲线 拟 合 为 例 , 简 要 说 明 遗 传 规划 的 工作 原理 .图 15. 3 的 曲线 表示 实验 结果 ,现在 要 
确定 实验 结果 的 函数 关系 ?一 了 (z). 
7 








| 


图 15.3 实验 结果 曲线 





遗传 规划 的 工作 原理 大 致 如 下 : 

随机 地 产生 初始 结构 . 设 所 产生 的 > 一 /z) 的 初始 表达 式 有 下 述 四 种 : 
台 3 一 和 十 Bz 

因 3 一 入 十 Bz 十 Cz2 

外 多 一 Zimnz 

图 3 一 Pzsinz 


计算 适应 度 . 将 不 同 的 志 代入 四 种 表达 式 中 ,从 而 得 出 一 组 不 同 的 7 . 将 计算 所 得 的 交 
与 实验 数据 >; 框 比较 ,并 确定 可 以 衡量 表达 式 优 劣 的 量 作 为 适应 度 , 假设 第 3 种 表达 式 最 佳 ， 
第 1 种 表达 式 最 差 - 

选择 , 根据 优胜 劣 涩 的 原则 ,选择 第 2 种、 第 4 种 玫 达 式 各 一 份 , 第 3 种 表达 式 二 份 ,淘汰 
效果 最 差 的 第 1 种 表达 式 ,于 是 经 选择 后 的 表达 式 由 下 述 方程 组 成 ， 





中 3 一 zsinz 

四 3 一 4 十 Bz 十 Czs 
四 3 一 zsinz 

鲜 3 一 Drsinz 


交叉 .为 了 产生 新 的 表达 式 , 要 使 用 交叉 操作 . 随机 地 选取 交叉 对 和 交叉 位 置 . 假设 对 第 
2、3 种 表达 式 进 行 交 叉 , 交 换 位 置 在 第 一 项 ,于 是 新 的 表达 式 为 : 


中 3 一 zsinz 

四 了 一 zx 十 Bz 十 Ca 
时 3 一 Asinz 

外 3 一 站 rsinz 


《5) 变异 . 在 遗传 规划 中 也 可 采用 变异 产生 新 个 体 . 例如 ,将 表达 式 中 的 sinz 变 为 cosz. 
不 过 ,遗传 规划 中 的 变异 远 不 及 在 遗传 算法 中 那样 重要 . 
上 述 步 骤 (2) 一 (5) 瓦 复 执行 ,使 函数 表达 式 ?一 ,Fz) 不 断 进 化 ,逐步 得 出 所 要 求 的 表达 


.3284 ， 计 算 智能 





式 . 
从 上 述 简单 例子 可 以 者 出 ,遗传 规划 和 遗传 算法 相 类 似 , 同 样 具有 选择 、 交 叉 、 变 异 等 操 
作 , 并 都 利用 适应 度 作 为 目标 函数 ,一 代 一 代 地 进化 ,逐步 得 出 最 优 的 数学 表达 式 . 


3 15.2 遗传 规划 基本 原理 


15.2-1 个 体 的 播 述 方法 


在 址 传 规 划 中 ,首先 要 解决 的 问题 是 如 何 使 用 一 系列 可 行 的 函数 对 个 体 进行 描述 , 遗传 规 
划 中 可 能 个 体 的 集合 是 函数 和 端点 所 有 可 能 组 合 的 集合 ,它们 可 以 从 Ny 个 函数 的 集合 
下 一 { 太 ,Prvy) 





利 AN: 个 端点 的 集合 
了 一 (al rezeyew》} 
中 递归 地 构成 . 函数 集 忆 中 每 个 函数 方 有 ZECAD (一 1,2，…Nr) 个 自 变量 ， 
函数 集 下 中 的 函数 可 以 包括 : 
名 算术 运算 符 , 如 十 一.* /等 
图 标准 数学 函数 ,如 sin cos.exp log 等 ; 
图 布尔 运算 符 , 如 AND.OR、NOT 等 ; 
图 条 件 表达 式 ,如 让 thenrelse 等 ; 
加 可 选 代 函数 ,如 do-until 等 ; 





图 可 递归 函数 ; 
加 任何 其 他 可 定义 的 函数 . 
端点 一 般 要 人 么 是 变量 (如 描述 系统 的 输入 ,传感器 ,探测 器 状态 变量 等 ) ,要 人 么 是 常量 . 端点 
有 时 也 可 以 是 没有 显 式 自 变 量 的 函数 - 
考虑 下 列 函 数 集 
下 一 (AND,OR,NOT} 
和 端点 集 


了 工 一 {Do,D1} 
其 中 D0,D1 为 布尔 变量 ,也 可 视 为 无 自 变 量 的 函数 . 现 考虑 函数 集 和 端点 集 的 并 集 C 为 ， 
C= 一 FUT={AND,OR,NOT,Do,D1)} 

显然 并 集 C 中 的 端点 可 视 为 具有 0 个 自 变 量 的 函数 . 于 是 并 集 C 中 的 函数 自 变量 的 个 数 
分 别 为 :2,2,1:0,0. 

考虑 如 下 布尔 型 函数 的 符号 表达 式 : 

(NOT(D0) AND NOT (D1)) OR (Do AND D1) 

图 35. 4 描述 了 上 述 符号 表达 式 的 层次 化 结构 ( 树 ), 树 中 ,5 个 内 节点 为 函数 集 下 中 的 函 
数 元 素 (OR,AND,AND,NOT,NOT) 站 个 外 节点 叶子) 为 端点 集 工 中 的 布尔 变量 (Do,Dl， 
D0,D1); 根 为 符号 表达 式 中 的 一 个 函数 , 即 OR. 该 树 即 为 数据 结构 理论 中 著名 的 算法 树 数据 
结构 . 这 种 算法 树 数 据 结构 非常 便于 表达 式 求 值 . 
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图 45.4 具有 有 序 分 支 的 树 


315.2.2 初始 群体 的 生成 


初始 群体 由 多 个 初始 个 体 组 成 ,初始 个 体 是 所 要 解决 问题 的 各 种 可 能 的 符号 表达 式 ( 算 法 
树 ), 它 通过 随机 方法 产生 ， 

开始 时 ,在 函数 集 丰 中 按 均匀 分 布 随机 地 选 出 一 个 函数 作为 算法 树 的 根 节 点 . 把 根 节点 
的 选择 限制 在 函数 集 下 中 是 为 了 生成 一 个 层次 化 的 结构 ,而 不 是 产生 由 单个 端点 构成 的 退化 
结构 . 图 15, 5 描述 了 函数 “十 ”"( 具 有 2 个 自 变量 ) 为 根 节 点 的 算法 树 ,函数 “十 ”是 随机 地 从 函 
数 集 下 中 选 出 来 的 - 一 般 情 况 下 ,从 函数 集 上 中 选 出 的 函数 ,如 果 有 ZC.) 个 自 变 量 ,那么 就 
要 从 节点 发 出 2 . 访 条 线 . 然后 ,对 于 每 条 从 节点 发 出 的 线 , 从 函数 集 下 和 端点 集 了 的 并 集 C 
中 用 按 均匀 分 布 随机 地 选 出 的 一 个 元 素 作为 该 条 线 的 尾 节点 . 如 果 此 时 选 出 的 是 一 个 函数 , 则 
重复 上 述 过 程 . 例如 , 若 函 数 “* ”从 并 集 C 中 被 选 出 , 则 函数 “* "将 作为 非 根 内 节点 ,如 图 
15. 6 中 的 点 2 所 示 - 由 于 函数 “ * "具有 两 个 自 变 量 , 所 以 内 节点 2 发 出 两 条 线 , 如 果 从 并 集 C 
中 被 选 出 的 是 端点 , 它 作 为 从 节点 发 出 线 的 尾 节点 , 则 该 分 支 上 的 树 就 终止 生长 . 例如 ,在 图 
15. 7 中 ,恰巧 端点 4,B,C 分 别 从 并 集 C 中 被 移出 ,并 作为 树 中 各 分 支 的 履 节 点 ,这 时 整个 算 
法 树 生成 过 程 终止. 


AAA 


图 15.5 具有 函数 "十 " 非 根 节 点 的 算法 树 图 15.6 具有 函数 "*“" 非 报 节点 的 算法 树 
【第 一 次 选择 ) 【第 二 次 选择 } 














图 1s.7 映 点 4,B,C 被 选 出 作为 针 子 的 算法 树 { 第 三 ~ 五 次 选择 } 
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上 述 过 程 从 上 到 下 ,从 左 到 右 不 断 重复 ,直到 一 棵 完整 的 树 生成 为 止 . 

万 始 个 体 的 生成 可 使 用 不 同 的 方法 ,从 而 得 到 具有 不 同 规模 和 形状 的 初始 个 体 . 下 而 介绍 
两 种 产生 初始 随机 树 的 基本 方法 ,为 此 首先 定义 叶子 的 深度 和 树 的 深度 . 叶子 的 深度 定义 为 叶 
子 蝶 树 根 的 层 数 . 树 的 深度 定义 为 从 树 根 到 终端 节点 中 最 大 的 层 数 . 例如 ,图 15. 7 的 树 深度 为 
3. 














1. 完全 法 

用 完全 法 产生 的 初始 个 体 ,每 一 叶子 的 深度 都 等 子 给 定 的 树 的 深度 . 其 实现 方法 是 , 若 待 
定 节点 的 深度 小 于 给 定 的 树 的 深度 , 则 该 节点 的 选择 将 限制 在 函数 集 内 ; 若 待定 节点 的 深度 等 
于 给 定 的 树 的 深度 , 则 该 节点 仅 从 端点 集 内 选取 . 

2. 生 长 法 

用 生长 法 产生 的 初始 个 体 具 有 不 同 的 形状 ,每 一 叶 于 的 深度 不 一 定 都 等 子 给 定 的 树 的 深 
度 . 其 实现 的 方法 是 :车 待定 节点 的 深度 小 于 给 定 的 树 的 深度 , 则 该 节点 的 选择 将 限制 在 函数 
集 与 端点 集 组 成 的 并 集 内 ; 若 待定 节点 的 深度 等 于 给 定 的 树 的 深度 , 则 该 节点 仅 共 端点 集 内 选 
取 ， 


15. 2.3 ”适应 性 度量 


在 遗传 规划 中 ,经 党 用 到 以 下 四 种 适应 性 度量 . 

1. 原始 适应 度 (Raw Fitness) 

原始 适应 度 是 问题 适应 性 自然 描述 的 一 种 度量 , 在 遗传 规划 中 ,适应 度 通 常 是 在 一 组 适应 
度 计算 事例 上 进行 度量 . 适应 度 计 算 事例 一 般 仅 是 整个 搜索 空间 中 一 个 少量 的 有 限 抽样 ,但 同 
时 也 要 求 它们 从 整体 上 必须 是 搜索 空间 的 代表 事例 ,因为 它们 是 对 从 整个 搜索 空间 中 得 到 的 
结果 进行 一 般 化 的 基础 ， 

通常 把 误差 定义 为 原始 适应 度 , 也 就 是 说 ,把 一 个 符号 表达 式 在 这 些 适应 度 计算 事例 上 返 
加 的 值 与 问题 的 正确 答案 之 间 的 距离 的 和 作为 其 适应 度 值 . 符号 表达 式 返 回 的 值 可 以 是 整数 
值 、. 浮 点 值 . 复 值 .向 旦 值 或 布尔 值 . 

若 符号 表达 式 是 整数 型 或 浮 点 型 ,那么 距离 之 和 表现 为 符号 表达 式 的 返回 值 与 实测 值 之 
间 的 距 离 绝对 值 的 总 和 . 在 群体 中 , 子 代 * 中 的 某 一 个 体 ; 的 原始 适 况 度 (iD 定义 为 ， 


Me 
7r(Gi 上 一 2 | Si 力 一 CGD) | 《15. 2. 17 


| 
其 中 ,SG , 门 为 个 体 1 在 适应 度 计算 事例 ; 下 的 返回 值 ;N. 为 适应 度 计 算 事例 数 ;CG) 为 适应 
度 计算 事例 j 的 实测 值 或 正确 值 . 

若 符号 表达 式 是 布尔 型 或 字符 型 ,那么 距离 之 和 表现 为 符号 表达 式 的 返回 值 与 实测 值 之 
间 的 符 导 不 匹配 的 个 数 . 

由 于 原始 适应 度 是 问题 的 自然 表达 ,因此 原始 适应 度 的 最 佳 值 或 越 小 越 好 ,或 越 大 越 好 . 

2,. 标准 适应 度 (Stanqardized Fitness) 

为 了 把 原始 适应 度 最 佳 值 取 最 小 和 最 大 两 情形 统一 起 来 ,下 面 从 藉 始 适应 度 导出 标准 适 
应 度 SGi,. 标准 适应 度 总 是 表现 为 数值 越 小 适应 性 越 好 . 

若 在 特定 问题 中 ,原始 适应 度 越 低 越 好 , 贡 标 准 适 应 度 即 可 取 为 原始 适应 度 , 即 ， 

SG 一 ri 区 《15. 2. 2) 
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若 在 特定 问题 中 ,原始 适应 度 越 大 越 好 , 则 标准 适应 度 可 定义 如 下 : 
SC 一 re 一 人 《15. 2. 3) 
其 中 ,ru* 为 原始 适应 度 所 能 达到 的 最 大 值 . 
3. 调整 适应 度 (Adjusted Fitness) 
子 代 上 中 合体 ; 的 调整 适应 度 < (i, 切 由 标准 适应 度 计算 而 得 , 即 : 


Qit 一 (15.2.4) 


1 
因为 SG 及 0, 故 <Gi' 芒 E[0,1], 且 调整 适应 度 值 越 大 ,个 体 越 优良 , 当 标准 适应 度 接近 于 5 时 , 调 
整 适应 度 具 有 扩大 标准 适应 度 值 微小 差别 的 好 处 - 这 一 情形 常 出 现在 进化 的 最 后 几 代 中 . 随 郑 群 体 
的 不 断 进化 , 寻 优 的 着 重点 就 要 放 在 区 分 好 的 和 更 好 的 个 体 上 ,但 它们 之 间 的 差别 往往 很 小 . 特别 
是 当 接近 正确 答案 时 , 若 标准 适应 度 接近 于 0, 则 调整 适度 的 扩张 能 力 就 显得 特别 有 效 , 例如 , 当 标 
准 适 应 度 了 到 值 介 于 0( 最 佳 ) 和 64( 最 差 ) 之 间 时 ,标准 适应 度 为 64 和 63 的 两 个 较 差 个 体 的 调整 适应 
度 分 别 为 0. 0154,0. 0156. 其 差 为 0 0002, 而 标准 适应 庆 为 4,3 的 商 个 优良 个 体 的 调整 适应 度 分 别 为 
0.20,0. 25, 其 姜 别 为 0. 05. 

4. 归 一 化 适应 度 (Normaiized Fitness ) 

归 一 化 适应 度 =(i, 切 由 调整 适应 度 计算 而 得 , 即 


iD 一 -Cob 《15.2.5》 


ce(FD 


31 














业 





中 = 为 群体 中 的 个 体 数目 ， 
归 一 化 适应 度 有 以 下 三 条 性 质 ， 
niDE[0,1]; 
@@ 适应 度 值 越 大 ,个 体 越 优 ; 


加 六 Ciy 失 一 ]- 
如 果 个 体 选 择 方法 基于 适应 度 比例 进行 ,那么 归 一 化 适应 度 可 直接 作为 个 体 选 择 的 概率 - 
J15.2.4 主要 操作 


在 造 传 规划 中 , 有 两 个 主要 操作 :选择 操作 积 交 叉 操 作 . 

一 、 选 择 

选择 操作 仅 作用 于 一 个 父 代 符 导 表 达 式 ,每 执行 一 次 选择 只 产生 一 个 子 代 符 号 表达 式 . 选 
择 操 作 分 为 两 步 , 首 先 基于 适应 度 值 按 某 种 选择 方法 从 当前 群体 中 选择 一 个 符号 表达 式 , 然 后 
把 它 复 制 到 新 一 代 群 体 中 . 

基于 适应 度 的 选择 方法 有 许多 种 ,其 中 一 种 常用 的 方法 是 与 适应 度 成 比例 的 选择 方法 , 即 
多 轮 选择 ,在 前 面 章节 所 介绍 的 遗传 算法 的 几 种 选择 方法 ,在 遗传 规划 中 同样 适用 . 

二 、 交 又 

在 遗传 规划 中 ,交叉 是 生成 新 个 体 的 活动 . 新 个 体 通 过 父 代 个 体 提供 不 同 组 成 部 分 而 产 
生 . 交叉 时 ,两 个 父 代 个 体 产 生 两 个 于 代 个 体 . 

1. 交叉 操作 的 实现 方法 

与 选择 过 程 相 类 似 , 根 据 某 种 选择 方法 独立 地 从 群体 中 选 出 一 对 父 代 个 体 . 一 般 来 说 ,所 
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选 出 的 两 个 父 代 个 体 的 结构 .大 小 可 能 都 不 相同 . 交叉 时 ,在 每 个 父 代 个 体 的 算法 择 上 分 别 按 
均匀 概率 分 布 随机 选择 一 个 交叉 点 ,于 是 产生 一 棵 以 交叉 点 为 根 的 子 树 , 该 子 树 包括 交叉 点 以 
下 的 所 有 子 树 . 上 其 有 这 样 特点 的 一 棵 子 树 称 为 一 全 交叉 段 . 有 时 ,一 个 交叉 段 仅 是 一 个 叶子 ， 

为 了 生成 第 一 个 子 代 个 体 ,首先 将 第 一 个 父 代 个 体 删 掉 其 交叉 萎 , 然 后 将 第 二 个 父 代 个 体 
的 交叉 段 插入 到 第 一 个 父 代 个 体 的 交叉 点 处 ,第 二 个 子 代 个 体 按 对 称 的 方式 生成 , 

例如 ,考虑 如 下 两 个 父 代 符 号 表达 式 ， 

NOTCD1)》 OR DO AND D1) 

CD] OR NOT(D0) OR CNOT(D0) AND NOTCD1)) 

这 两 个 符号 表达 式 可 视 为 如 图 15. 8 所 示 的 两 个 算法 树 . 





图 15.$ 两 个 父 代 个 体 (符号 表达 式 ) 

假设 树 的 节点 按 深 度 优先 ,从 左 到 右 的 方式 编号 . 假定 第 一 棵 树 的 第 2 个 节点 被 随机 选 定 
为 交叉 点 , 即 交 叉 点 为 NOT 函数 , 假定 第 二 樟树 的 第 6 个 节点 被 随机 选 定 为 交叉 点 , 即 交 叉 
点 为 AND 函数 .第 一 棵 树 的 交叉 段 是 以 节点 2 为 根 的 子 树 ,遗留 部 分 称 为 剩余 眉 , 第 二 裸子 
树 的 交叉 外 是 以 节点 6 为 根 的 子 树 . 图 15.9 描述 了 两 个 交叉 段 ,图 15. 10 描述 了 交叉 后 的 两 
个 子 代 个 体 . 两 个 子 代 个 体 的 符号 式 分 别 为 ， 

(CNOT(CD0) AND NOT(CD1)) OR (Do AND D1) 

《D1 OR NOTCDo))OR NOT (D1) 














二 
ka 志和 世 


加 9 闻 


图 15.9 两 个 由 父 代 个 体 产生 的 交叉 段 
2. 交叉 操作 的 一 般 特征 
由 于 交叉 操作 时 整个 子 树 被 交换 ,所 以 不 管 父 代 个 体 和 交叉 点 如 何 选择 ,交叉 操作 所 产生 
的 新 的 子 代 符号 式 总 是 语法 上 合法 的 表达 式 . 
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四 多 四 


图 15, 19 两 个 由 父 代 个 停产 生 的 注 代 个 体 

如 果 一 个 父 代 个 体 的 交叉 段 愉 为 一 个 映 点 (叶子 》， 而 另 一 个 父 代 个 体 的 交叉 眉 为 一 棵 子 
树 , 那 么 在 交叉 时 ,第 一 个 父 代 个 体 的 这 个 呈 子 (交叉 段 ) 将 播 在 第 二 个 父 代 个 体 剩 余 外 的 交叉 
点 处 ,第 二 个 父 代 个 体 的 子 树 ( 交 叉 段 ) 将 播 在 第 一 个 父 代 个 体 删 余 段 的 交叉 点 处 这样, 交叉 
操作 往往 会 产生 深度 较 大 的 子 代 个 体 . 

如 果 丙 个 父 代 个 体 的 交叉 外 均 为 映 点 ( 吐 子 ) ,那么 交叉 操作 仪表 现 为 否 深 树 之 间 的 叶子 
交换 . 这 相当 子 一 棵 树 的 叶子 发 生变 异 . 因此 ,点 变异 是 交叉 操作 的 一 种 退化 表现 . 

如 果 一 个 父 代 个 体 的 交叉 段 从 为 整个 树 ( 即 交 叉 点 为 根 ) ,而 另 一 个 父 代 个 体 的 交叉 段 为 
一 棵 子 树 ,那么 在 交叉 时 ,第 一 个 父 代 个 体 将 整个 插 在 第 二 个 父 代 个 体 晋 余 段 的 交叉 点 处 ,第 
一 个 父 代 个 体 变 为 子 代 个 体 的 一 棵 子 树 - 这 样 ,往往 也 会 产生 深度 很 大 的 子 代 个 性 . 

在 交叉 操作 中 , 子 代 个 体 的 大 小 (一 般 用 树 的 深度 衡量 ) 应 有 一 定 的 限制 .这 种 限制 将 防止 因 少 
数 子 代 个 体 太 大 而 花费 太 多 的 计算 时 间 . 如 果 两 个 父 代 个 体 交 叉 后 产生 一 个 巨型 子 代 个 体 ,而 另 一 
个 是 正常 子 代 个 体 , 则 将 后 省 保留 ,并 任 选 一 个 父 代 个 体 实 施 复制 代 蔡 前 者 . 

如 果 两 个 父 代 个 体 的 交叉 点 都 是 根 节 点 ,那么 交叉 操作 退化 为 一 种 简单 的 复制 操作 . 

3- 交叉 操作 的 特殊 作用 

在 遗传 算法 中 ,如 果 两 个 相同 的 个 体 进行 交叉 ,那么 所 产生 的 子 代 个 体 将 是 相 同 的 .这 是 
因为 个 体 结构 是 定 长 串 ,两 个 父 代 个 体 的 交换 点 选择 相同 ,因此 子 代 个 体 完全 一 样 这 一 事实 
将 加 速 群体 过 早 趋 于 同一 化 ,从 而 导致 进化 进程 的 早熟 现象 . 然而 在 遗传 规划 中 , 当 两 个 相同 
的 个 体 进行 交叉 时 * 所 产生 的 子 代 个 体 一 般 不 相同 ,除非 两 个 子 代 个 体 各 自 的 交叉 点 恰好 相 
同 ,但 这 种 情况 发 生 的 概率 较 小 . 在 遗传 算法 和 造 传 规划 中 ,选择 操作 都 使 群体 趋 子 同一 化 -但 
在 遗传 规划 中 ,交叉 操作 将 施加 一 个 偏离 同一 化 趋势 的 反 平 衡 作用 . 因此 ,在 遗传 规划 中 由 子 
交叉 操作 的 作用 ,同一 化 的 发 生 是 不 可 能 的 . 

在 遗传 规划 中 ,除了 选择 各 交叉 这 两 个 主要 的 操作 外 ,还 有 五 个 辅助 的 遗传 摊 作 :变异 , 排 
列 编辑 封装 自残 . 由 子 这 些 摊 作 仅 是 根据 需要 偶然 使 用 ,所 以 不 再 逐一 介绍 . 


145.2.5 结果 标定 


结果 标定 的 第 一 种 方法 是 找 出 一 个 在 整个 进化 过 程 中 的 全 局 最 佳 个 体 . 在 进化 中 的 每 一 
代 群 体 中 都 有 最 佳 个 体 存 在 . 在 每 一 代 进 化 完 后 , 若 当前 代 的 最 佳 个 体 优 子 前 一 代 , 则 将 其 存 
人 计算 机 缓冲 区 ,取代 前 一 代 的 最 佳 个 体 ; 否 则 仍 保 留 前 一 代 的 最 佳 个 体 - 当 终止 准则 满足 , 进 
化 停止 时 ,计算 机 组 冲 区 中 的 个 体 就 作为 整个 进化 进程 的 全 局 最 佳 个 体 . 
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第 二 种 方法 是 在 进化 停 直 时 标定 出 群体 中 的 最 佳 个 体 , 即 取 最 后 一 代 的 最 佳 个 体 作 为 全 
局 最 佳 个 体 - 


15.2.6 控制 参数 


在 遗传 规划 中 ,共有 十 几 个 控制 参数 ,下 面 只 介绍 其 中 常用 的 5 个 参数 , 参数 值 的 选取 一 
般 要 依赖 于 求解 的 问题 ,这 里 不 具体 讨论 它们 的 最 优选 取 , 仅 提供 一 组 值 供 参考 . 

(1) 群 体 规模 KW, 可 取 一 500; 

《2) 最 大 进化 代数 G, 可 取 G 一 51, 包 括 初始 代 和 后 继 的 50 代 ; 

(3) 交 叉 概 率 书 可 取 书 .一 0. 90; 

(人 个 体 算法 树 最 大 深度 D1, 可 取 D1 一 17, 即 在 进化 进程 中 由 交叉 产生 的 树 的 最 大 深度 
不 超过 17 

(5 初始 代 个 体 算法 树 最 大 深度 D2 ,可 取 D2 一 6, 即 在 初始 群体 中 随机 产生 的 算法 树 的 
最 大 深度 不 超过 6. 





315.3 遗传 规划 在 符号 回归 中 的 应 用 


符号 回归 (Symbolic Regression) 问 题 主要 是 确定 用 符号 表示 的 函数 ,这 种 函数 能 够 以 给 
定 的 精度 拟 合 给 定 的 数据 . 这 一 工作 类 伺 于 参数 回归 ,不 局 之 处 在 于 参数 回归 要 求 事先 给 定 具 
体 函 数 形式 ,而 符号 回归 则 不 需要 事先 给 定 具体 落 数 形式 . 因此 ,符号 回 妇 在 工程 中 具有 更 广 
泛 的 应 用 价值 . 

遗传 规划 在 符号 回归 中 的 应 用 是 利用 个 体 理 想 利 与 实际 值 之 间 的 误差 作为 遗传 的 驱动 
力 , 这 种 进化 模式 称 为 误差 驱动 进化 . 一 般 情况 下 ,符号 回归 的 进程 包括 数学 范 数 形态 的 确定 ， 
函数 中 数字 常量 和 系数 的 确定 ， 

下 面 点 降雨 量 状况 预测 问题 为 例 , 具 体 说 明 遗 传 规划 在 符 导 回归 中 的 应 用 - 

某 地 10 月 份 降雨 量 与 预报 因子 的 实测 数据 如 表 15. 1 所 示 . 要 解决 的 问题 是 确定 该 地 降雨 量 
《用 > 麦 示 ) 与 预报 因子 (用 zx 表示 ) 之 间 的 关系 ,以 便于 对 以 后 的 降雨 量 状况 做 出 预测 - 

家 15.1 某 地 10 月 份 降 璀 量 与 天 报 因子 之 名 的 关系 























年 。 号 1 2 3 45 67 89 1 1 1 1 4 15 1HN 17 
预报 因子 9 4 395 8 9 3 24 16 47 37 42 14 23 35 2 85 96 
实测 值 |34 17 38 35 3 5 8 6 lt 9 8 3 1 1 9) 3 48 
表 15. 1 中 的 17 对 实测 数据 构成 了 适应 度 计算 事例 , 取 端 点 集 为 
工 一 《rpO 


其 中 z 为 变量 ,p 为 临时 随机 常数 . 在 随机 生成 初始 个 体 时 ,只 要 临时 随机 常数 p 被 选 作为 树 的 一 个 
叶子 , 便 在 特定 区 间 内 生成 具有 特定 数据 类 型 的 随机 数 , 并 代 蔡 临时 随机 常数 m 对 于 本 例 , 随 机 常 
数 p 的 数据 类 型 应 为 浮 点 型 , 取 值 区 间 可 定义 在 [一 20 ,十 20] 范 围 之 内 ， 
本 数 集中 应 将 所 有 能 估计 到 的 反映 自 变量 和 因 变 量 之 间 本 质 联系 的 函数 搜集 起 来 .本 例 
的 落 数 集 定义 为 
下 一 (十 ,xyexpylog, 不 } 
群体 规模 取 为 "一 4, 初 始 群体 是 由 变量 z, 常 量 p 和 函数 十 、* .exp、\log、 + 随机 构成 的 复 
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杂 数 学 函数 . 设 第 0 代 群 体 为 ; 


个 体 1: 一 4.3 十 1. 21 x 了 
个 体 2: 0.667 闪 exp(0. 071 * 碟 ) 
个 体 3: 一 12.72 十 1.77x log(z)》 
个 体 4， 1.242 工 休 0.76 


个 体 在 表 15. 1 的 实测 数据 中 运行 ,个 体 原 始 适 应 度 定义 为 
了 (in 一 立 1sG 六 一 3?C) 1 


二 


其 中 si) 为 个 钼 ;在 计算 事例 j) 下 的 返回 箱 ,?(7) 为 计算 事例 j 的 实测 值 . 在 本 例 中 ,标准 适 
应 度 取 为 原始 适应 度 . 


基于 表 15, 1 的 适应 度 计算 事例 ,各 计算 机 程序 (个 体 ) 的 返回 值 及 其 与 实 值 的 误差 绝对 


值 之 和 如 表 15.2 所 示 . 


甫 15-.2 各 计算 机 程序 的 返回 值 及 其 与 实 届 值 的 误 兰 绝 对 值 总 和 





计算 程序 返回 值 :Gi, 力 





桥 报 因子 


工 





实测 值 


了 


插 体 1 


个 栖 2 


和 体 3 


个 棒 4 





17 


97 
47 


96 


34 
17 


48 


113.070 
52. 570 


131. 860 


553- 299 
18. 766 


608- 532 


一 生 634 
一 5. 915 


一 4. 552 


40. 185 
23. 169 


39. 870 





误差 绝对 值 总 和 【适应 度 ) 





753. 280 


5123, 380 


457. 493 


118. 518 





贝 表 15. 2 可 见 , 第 0 代 群 体 平均 适应 度 为 1613. 168, 个 体 4 的 适应 性 最 优 . 
一 般 情 况 下 ,在 随机 生成 的 初始 群体 中 ,大 量 个 体 具 有 较 差 的 适应 度 , 如 本 例 中 的 个 体 2 


和 个 体 1. 但 是 , 仍 缚 会 有 一 些 适 应 度 较 好 的 个 体 , 如 本 例 中 的 个 体 4 和 个 体 3, 这 种 适应 度 差 
别 将 在 以 后 的 遗传 进化 中 得 到 改善 ， 


下 面 根据 适应 度 -比例 原则 进行 选择 和 交叉 操作 . 在 选择 操作 中 ,个 体 2 被 淘汰 ,个 体 4 被 


复制 2 份 -于 是 ,选择 操作 后 的 第 一 代 子 群体 变 为 : 


个 体 1; 一 4 3 十 1. 21x 工 
个 体 2， 一 12,72 十 1.77* log(z) 
个 体 3: 1. 242 x 工 涉 0.76 
个 体 4: 1. 242 x 工本 0.76 


交叉 操作 仍 根据 适应 度 -比例 原则 进行 , 即 个 体 适 应 性 越 好 ,进行 交叉 的 概率 越 大 . 假定 进 


行 交 叉 的 个 体 为 2 与 3 以 及 1 与 4, 交 叉 后 的 第 一 代 于 群体 为 


个 体 1: 一 4 3 十 1. 21* 工本 0.76 
个 体 2， 一 12.72 十 1.77x z+0,76 
个 体 3: 1.242 * log(z) 

个 体 4: .242 # 了 


直观 上 看 ,如 果 父 本 个 体 在 解决 问题 时 较为 有 效 的 话 ,那么 它们 的 某 些 部 分 很 可 能 有 重要 


价 钉 - 焉 过 这 些 有 价值 部 分 的 随 志 组 合 ,就 很 可 能 获得 具有 更 好 适应 性 的 新 生 个 体 . 当 某 代 的 
群体 完成 选择 和 交叉 操作 后 ,新 生 群 体 就 取代 了 旧 群 体 . 然后 ,利用 一 组 计算 事例 ,重新 对 新 生 
代 群 体 中 的 个 体 进行 适应 性 评价 . 这 一 进程 可 不 新 重复 . 经 过 若干 代 后 ,个 体 的 平均 适应 性 不 
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断 提高 ,而 且 , 这 些 个 体能 快速 . 存 效 地 适应 环境 的 变化 . 


























对 于 本 例 , 基 于 表 15. 1 的 适应 度 计算 事例 ,第 1 代 群 体 各 计算 灿 程 序 的 返回 值 及 其 与 实 
沁 值 的 误差 绝对 值 之 和 如 表 15- 3 所 示 
表 15.3 各 计算 机 程序 的 返回 值 及 其 与 实测 值 的 误差 绝对 值 总 和 
年 旧 和 拥 报 因子 实测 值 计算 程序 返回 值 Ye 

工 也 个 体 1 个 体 2 个 导 3 个 体 4 

1 97 34 34.850 好. 471 5.682 120, 474 

2 47 17 18. 273 20. 254 4.782P 58. 374 

1 86 4 34.543 oa 5.669 in9, 232 

误差 绝对 值 总 和 《适应 度 7 75.314 98- 908 276- 225 857. 676 








由 表 中 可 见 , 丰 些 个 体 适 应 性 改善 很 大 ,如 个 体 2 的 适应 度 从 457. 493 改进 为 98. 908. 第 工 代 群 
体 平 均 适 应 度 327. 031 与 第 0 代 群 体 平均 适应 度 1613. 168 相 比 ,也 大 为 改善 ， 

上 述 进 化 进程 可 不 断 重复 ,直到 取得 满意 结果 - 

遗传 规划 在 符号 回归 中 的 应 用 范围 较 广 , 它 可 泌 涉及 数学 恒等式 的 确定 .科学 定律 的 实验 
发 现 ,符号 积分 、 符 叶 币 分 .符号 微分 方程 求解 、 符 导 积 分 方程 求解 一般 函数 方程 求解 . 求 函 数 
的 逆 栈 数 、 工 程 与 经 济 问题 中 的 建 模 和 预测 ,以 及 计算 机 王 像 压缩 等 诸多 方 而 . 此 外 ,遗传 规划 
还 可 用 于 布尔 复合 算 子 . 人 工 蚂 蚁 问题 以 及 最 优 控制 等 领域 . 

最 后 ,将 遗传 规划 求解 问题 时 的 重要 特征 归纳 如 下 ， 

产生 的 结果 具有 层次 化 的 特点 

无 需 事先 确定 或 限制 最 终 答案 的 结构 或 大 小 ,遗传 规划 将 根据 环境 自 迁 应 地 确定 问题 解 
的 结构 各 大 小 

输入 .中 间 结 果 和 输出 是 问题 的 自然 描 述 ,无 需 或 很 少 需要 对 输 和 人 数据 的 预 处 理 和 对 输出 
结果 的 后 处 理 . 进化 过 程 中 所 产生 的 计算 机 程序 由 对 于 问题 自然 描述 的 函数 组 成 . 

必须 指出 ,在 遗传 规划 中 ,个 体 结构 的 变化 是 主动 的 ,它们 并 不 是 对 问题 答案 的 被 动 式 编 
码 , 这 一 点 完全 不 同 于 遗传 算法 . 


8$15.4 进化 策略 与 进化 规划 














15.4.1 进化 策 路 


进化 策略 (Evolution Strategies, ES) 的 研究 始 于 1964 年 ,由 德国 学 者 Rechenberg I 和 Schwefel 
开 P 在 chnical University of Berjin 最 先 提 出 . 当初 主要 是 用 于 试验 处 理 流体 动力 学 问题 ,如 弯 管 
形状 优化 (具有 最 小 能 量 损 失 的 柔性 弯 管 的 形状 ). 这 是 一 种 求解 数值 优化 问题 的 算法 - 

Rechenberg 提出 了 最 原始 的 进化 策略 , 称 为 (1 十 1 一 ES, 并 发 展 了 收 敏 速度 理论 . (1-+1) 
一 ES 是 一 个 简单 的 变异 选择 机 制 ,每 代 通 过 高 斯 变异 作用 在 一 个 父 本 个 体 上 来 产生 一 个 子 代 
个 体 . 了 echenberg 还 提出 了 (rz 十 1) 一 ES, 这 个 策略 是 将 (pz>>1) 个 个 体 经 过 选择 形成 的 一 个 
子 代 个 体 蔡 换 掉 最 差 的 一 个 父 代 个 体 . Schwefel 在 此 基础 上 提出 了 (rm 十 X) 一 ES 各 (pyj) 一 
ES, 它们 都 是 针对 多 父 本 和 多 子 代 的 ,在 算法 过 程 中 ,个 父 本 产生 和 (>>1) 个 子 代 . (p 十 一 
ES 玫 示 在 算法 中 这 (z 十 1) 个 多 选 解 同时 参加 竞争 ,以 选择 产生 新 一 代 ( 一 般 生 存 数 目 为 px). 
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《us) 一 ES 表示 在 算法 中 只 有 这 、 个 子 代 个 体 作 为 参加 竞争 的 候选 解 ,而 父 本 被 完全 取代 . 可 
以 称 人 ua 十 1) 一 ES 为 “父子 混合 选择 ”的 进化 策略 ,而 (whA) 一 ES 为 “自然 选择 ” 这 两 种 策略 ( 尤 
其 是 后 者 ?在 进化 策略 中 占有 重要 地 位 、 
下 而 介绍 利用 (一 ES 求解 优化 问题 CP) 
max{Kz) : 工 所 了 CRey FDC Re -BR 





的 步骤 

上 补 始 化 

确定 群体 规模 N 与 终止 进化 准则 ,在 电 随 机 选择 N 个 元 (向 量 )2 (0) Ci 一 1,2，，N) 
以 组 成 初始 群体 筷 (0) 一 (zi(0) ,za(0)) ZN(0))， 置 记 一 0. 

2. 产生 中 间 群 售 

执行 M 步 CE> N) 如 下 操作 - 

名 以 等 概率 从 夺 (8 中 选择 用 作 父 本 的 个 体 z (AD) ，z。 (有 ). 

加 以 交叉 算 子 作 用 于 zi (E) ,za (8 以 产生 中 间 个 体 胖 . 

鲜 以 变异 算 子 作用 子 Si 以 产生 中 间 个 体 $,. 

3, 选择 

按 适 应 度 值 F(S)(1 委 ji 二 MD) 的 大 小 从 中 间 群 体 {S:,S:,…,Svw} 中 选 焉 N 个 个 体 以 组 成 
下 一 代 群 体 环 人 十 1 

4- 终止 检验 

判断 XGA 十 1) 是 否 满 足 终止 进化 条 件 ,如 满足 , 则 停止 进化 ,否则 冒 上 一 上 十 1. 转 步 2， 

从 形式 上 看 ,进化 策略 和 遗传 算法 十 分 类 似 , 但 进化 策略 不 使 用 优化 变量 的 染色 体 编 码 ， 
而 是 直接 作 肯 于 实 变 基 , 另外 ,在 交叉 算 子 与 变异 算 子 的 构造 上 ,进化 策略 与 遗传 算法 是 有 区 
别 的 . 进化 策略 使 用 的 交叉 算 子 是 以 两 个 个 体 生 成 一 个 个 体 的 操作 . 

常见 的 交叉 算 子 有 “中 间 交 叉 ?"(intermediate crossover) 以 及 “随机 交叉 "Crandom cross- 
over) 等 . 对 子 给 定 的 两 个 父 本 向 量 z, 和 z。, 中 间 交 叉 产 生 所 给 父 本 向 量 的 算术 平均 ， 


一 上 
肥 一 玛 (2 十 2 7 


随机 交叉 定义 为 从 所 给 父 本 向 基 中 的 随机 抽取 ; 
肛 一 RandomCza 十 zs》 


交叉 算 于 也 可 以 取 如 下 加 权 平 均 交 叉 的 形式 ， 
将 一 (2 一 多 2 一 区 


其 中 66 [0,1] 为 一 致 随机 变量 . 车 9 仅 取 随机 数 0 或 1, 则 即 为 随机 交叉 ;车 4 取 定 值 二, 则 印 


为 中 间 交 叉 . 
不 同 于 遗传 算法 的 逐 点 变异 ,进化 策 蜀 中 的 变异 算 子 通常 是 通过 对 所 作用 的 个 体 施加 某 
个 随机 扰动 来 实现 的 - 例如 ,对 员 的 变异 可 定义 为 
8 一 中 十 NO,a) 
其 中 凡 (0, 表示 均值 为 0, 偏差 为 c; 的 独立 正 态 分 布 随机 向 量 . 由 于 进化 策略 中 的 变异 从 一 
定 意义 上 可 理解 为 一 种 卜 山 接 索 ,a; 也 常 称 作为 步 长 - 
采用 定 步 长 控制 策略 ,使 算 共 有 结构 简单 .易于 实施 的 优点 ,但 算法 常常 收 伍 缓 慢 、 易 于 停滞 于 
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局 部 极 小 . Schwefel 发 展 了 一 类 参数 自 校正 策略 . 在 这 个 策略 中 ,群体 中 的 个 体 不 再 仅 由 问题 (P? 的 
单个 可 行 解 描述 ,而 是 包括 了 可 行 解 向 量 以 及 相应 拢 动向 量 的 向 量 对 . 例如 ,第 大 代 群 体 中 的 个 体 可 
播 述 为 ( 马 (b,i(BD)G 一 1,2，;ND). 在 这 个 向 量 对 中 , 抗 动向 量 不 仅 提供 了 变异 自身 ,而 且 也 提供 
了 对 可 行 解 向量 所 变异 的 结果 . 设 (8 ,5 ) 为 某 一 给 定 个 体 , 依 Schwefel 的 定义 ,对 这 一 个 体 的 变异 
产生 的 新 个 体 (8,a) 为 








如 一 好 expGNCOAG)) 

SS 一? 弛 +NC0Ac) 
其 中 A5 为 步 长 . 理论 分 析 与 数值 试验 均 表 明 , 采 用 Schwefel 的 参数 自 校正 策略 可 显著 改善 进化 策 
略 算法 的 计算 效率 与 优化 性 能 . 

对 于 进化 策略 收 敏 性 及 收 敏 速度 的 分 析 研 究 ,虽然 已 有 一 些 结果 ,例如 , 现 已 证 明了 (1 十 1D) 一 

了 ES 的 渐进 收 伍 性 ,也 有 了 一 种 特殊 定义 的 收 伍 速 度 的 估计 ,但 总 的 来 说 ,还 缺乏 具有 善 记 意义 的 工 
作 , 特 别 是 ,有 关 人 二) 一 ES,(e 一 ES 及 Schwefel 的 参数 自 校 正 进化 策略 的 一 般 收敛 性 尚未 得 到 
严格 的 证 明 . 


嫩 .4.2 进化 规划 


进化 规划 (Evolutionary Programming,EP) 是 20 世纪 60 年 代 由 美国 的 Fogel L 丁 等 人 提出 的 一 
类 进化 算法 ,其 目的 在 于 求解 静态 或 非 甫 态 时 间 序 列 预测 问题 . 进化 规划 的 设计 思想 类 似 于 进化 策 
略 , 即 主要 利用 变异 与 选择 机 制 对 系统 进行 优化 ,但 进化 规划 往往 用 于 处 理 更 复杂 的 系统 优化 问 
题 , 如 入 工 智能 领域 的 优化 问题 等 . 

求解 问题 (P) 的 进化 规划 可 描述 如 下 ， 

1. 初始化 

确定 群体 规模 N 与 终止 进化 准则 ,在 了 中 随机 选取 2N 个 个 体 以 组 成 初始 群体 五 (0)G 一 1,2， 
27D, 即 : 








和 CO0) 一 (五 (0) zw(C0)，zvtl(COJ，yZ2vCO))} 

量 一 0. 
2. 产 生 新 一 代 群 体 

全 计算 当前 群体 中 个 体 的 适应 度 值 F(z ( 愉 ) ,TS<I<2N. 

加 依据 某 种 竞争 规则 ,选择 {2; (8) ,一 1,2…2M) 中 获胜 概率 最 高 的 N 个 个 体 作 为 父 本 .不 妨 
设 这 六 个 父 本 个 体 为 

全 (和 人 } 
并 令 
CR) 一 〈a RD) Ta (Ra 一 12 D 
凶 通 过 变异 算 子 作用 于 父 本 五 ( 驴 (<iSN 以 产生 新 个 体 
3 一 (SSoS < 二 ND 

其 中 名 一 市 ( 闪 十 NarFGm (六 ) 十 由)G 一 1,259) ,其 中 NGC。。 ) 是 正 态 分 布 随机 变量 ,ay , 记 
是 可 调 实 参数 - 

图 取 新 一 代 群 体 XCE 十 1) 一 { 写 (vvC 有 SSv 
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3. 终止 检验 

如 果 XC 二 1D) 满 足 终止 进化 条 件 , 则 停止 并 输出 最 优 解 ,否则 置 一 上 1, 转 步 又 2 

在 选择 父 本 的 过 程 中 ,竞争 规则 和 获胜 率 通常 按 如 下 定义 

任 一 个 体 忆 (GE 天 (和 称 为 在 一 次 竞争 中 获胜 ,如 果 随 机 选取 一 个 体 五 ( 癌 丘 (及 有 下 (人 有) 


>FCe ( 昌 ). 在 规定 的 严 次 竞争 中 ,如 果 z (内 有 “次 获胜 , 则 比值 亏 称 为 个 体 ( 丹 的 获胜 率 . 
进化 规划 只 利用 了 变异 算 子 的 作用 ,而 没有 利用 交叉 算 子 , 
15.4 3 ”过 传 算法 与 进化 策略 和 进化 规划 的 比较 


作为 进化 计算 的 三 大 典型 执行 策略 ,GA,ES 与 EP 均 以 作用 于 生物 种 群 , 模 撤 生 物 进 化 机 制 为 
基础 , 且 其 发 展 有 和 逐渐 融合 的 趋势 ,但 注意 到 这 三 类 不 同 执行 策 路 之 间 的 差别 是 有 益 的 . 

GDGA 的 基本 作用 对 条 是 优化 变量 的 染色 体 编码 ,从 而 它 是 通过 求解 组 合 优 化 问题 (P) 求 解 

max{( FCS):SE 尼 } 
其 中 E 一 (0,1) 为 问题 GP) 中 可 行 解 空间 了 的 编码 空间 , 用 来 求解 优化 问题 (P). 而 ES 与 EP 直接 
作用 于 表达 个 体 的 实 变 团 本 身 ,其 算法 是 在 问题 CP) 的 可 行 解 空 间 中 直接 进行 搜索 - 

《2) GA 的 仿生 基点 在 于 通过 遗传 算 子 的 作用 改变 个 体 的 基因 结构 ,从 而 强调 交叉 作用 方式 与 
繁殖 后 代 的 遗传 手段 ES 与 EP 注重 父 代 与 子 代 之 间 的 性 状 联 系 , 从 而 强调 和 无论 遗传 过 程 怎样 发 
生 , 父 代 与 子 代 之 间 必 须 保持 服从 概率 分 布 的 性 状 - 

《3) ES 的 性 状 联系 表现 在 用 作 父 本 的 个 体 与 子 代 个 体 之 间 , 而 EP 的 性 状 表现 于 父 代 种 群 与 
子 代 种 群 的 群体 之 间 . 因此 前 者 可 引入 交叉 操作 ,而 后 者 则 不 宜 . 

《4 变异 在 CA 中 只 是 提供 等 位 基因 的 一 个 核 复 机 会 ,不 是 重要 的 搜索 算 子 , 而 在 ES 与 EP 
中 ,变异 是 最 基本 的 搜索 . 

《57 在 选择 机 制 上 ,ES 利用 等 概率 方式 (与 个 体 适 应 性 无 关 ) 产 生 用 于 繁殖 的 父 本 ,而 GA 和 
EP 强调 选择 对 于 个 体 适 应 性 的 依赖 与 概率 机 制 . 

目前 ,进化 计算 已 被 广泛 认为 是 可 成 功 应 用 子 计算 机 科学 ,工程 技术 ,管理 科学 和 社会 科学 等 
领域 的 一 种 自 组 织 . 自 适应 人 工 智能 技术 . 特别 是 , 它 对 于 求解 复杂 优化 问题 所 显示 出 的 巨大 潜力 
愈 来 您 引 起 众多 学 科 的 研究 者 的 兴趣 . 

世界 之 奇妙 ,万 物 之 和 谐 ,存在 于 人 类 进化 自身 的 优化 原理 或 许 正 是 求解 任何 复杂 优化 问题 的 
天 赐 之 道 ， 
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